통상 데이터 파이프라인 이 라고 하 면 데이터 수집 / 처리 / 저장 / 제공 / 시각화 업무 가 포함 됩니다 . 카카오 페이 의 데이터 파이프라인 은 Data Mesh 아키텍처 를 지향 하 고 있 습니다 . Data Mesh 는 일반 적 으로 3 세대 데이터 플랫 폼 아키텍처 ( 1 세대 : EDW , 2 세대 : Data Lake , 3 세대 : Data Mesh ) 라고 이야기 하 지요 . 지금 까지 정형 / 비 정형 데이터 에 대해서 중앙 집중 화 된 Data Lake 로 모아 통계 분석 이나 모델링 을 진행 했 다면 , Data Mesh 는 분산 화 된 도메인 별 데이터 파이프라인 을 통해서 통계 분석 및 모델링 을 진행 하 는 방식 입니다 . 어찌 보 면 , 서버 아키텍처 에 MSA ( Micro - Service Architecture ) 구조 와 유사 합니다 .