데이터 분석 팀 에서 일 하 고 있 는 초짜 인데 , 제 가 고민 하 고 있 던 부분 을 너무 정확히 글 로 써 주 셔서 감사 합니다 . 파이프라인 부터 분석 단계 까지 많 은 고민 이 있 으셨을 것 으로 생각 됩니다 ㅠㅠ < br >< br >< br > 저희 팀 에서 도 S 3 로 로그 데이터 ( raw ) 를 스냅샷 으로 적재 하 여 분석 에 이용 하 고 있 습니다 . < br > 보통 aws athena 로 바로 쿼리 를 통해 데이터 를 추출 하 는데 , 아주 간단 한 쿼리 도 < br > 로 그 데이터 가 매일 늘어나 서 쿼리 가 너무 오래 걸리 거나 timeout 되 는 경우 가 많 습니다 . < br >< br > 현재 의 고민 은 결국 , 데이터 가 늘어나 도 쿼리 와 전처리 를 빠르 게 할 수 있 는 방법 을 찾 는 것 입니다 . < br > s 3 데이터 를 redshift 로 옮겨서 쿼리 를 진행 하 면 복잡 한 쿼리 도 더 빠르 게 가능 할지 , EMR 에서 에디터 로 s 3 데이터 를 불러서 작업 을 하 는 게 빠를지 . .< br >< br >< br > 어떤 방법 이 좋 을지 추천 해 주 실 수 있 을지 궁금 합니다 . < br > 글 에 비해 질문 이 많이 늦 었 는데 , 혹시 라도 답변 가능 하 시 면 답변 부탁 드립니다 !