[ 빅 데이터 ] Kafka stream 과 KSQL 소개 및 설명 , 차이점 2019 . 10 . 08 출처 : slideshare - Kafka Streams vs . KSQL for Stream Processing on top of Apache Kafka Kafka 는 Bigdata 를 처리 하 고 운영 함 에 있 어서 필수 불가결 하 다 . 이미 많 은 IT 기업 들 ( 카카오 , 네이버 등 ) 에서 는 kafka 로 동작 하 는 실 서비스 를 운영 하 고 있 으며 그 에 대한 know - how 도 상당히 많이 공유 되 고 있 다 . Kafka 는 단순히 produce , consumer 구조 로 사용 가능 하 지만 , KSQL 이나 kafka stream 을 사용 하 여 더욱 효과 적 이 고 유연 하 게 데이터 를 조작 할 수 있 다 . 이번 포스팅 에서 는 KSQL 과 Kafka stream 에 대해서 소개 하 고 차이점 도 알아보 는 시간 을 가지 려고 한다 . KSQL KSQL 은 streaming SQL 엔진 으로서 . . 
 데이터 파이프라인 이란 무엇 인가 ? 2019 . 10 . 07 아래 포스팅 은 DZone 의 What Is a Data Pipeline ? 을 번역 하 였 습니다 . url : https : / / dzone . com / articles / what - is - a - data - pipeline 이번 포스팅 에서 는 데이터 파이프라인 에 대해서 정의 하 고 데이터 파이프라인 을 통해 추구 하 는 바 를 알아보 고자 한다 . 데이터 를 효과 적 으로 가져오 는 것 은 오늘날 Data - driven enterprise 의 큰 숙제 이 다 . 데이터 를 어느 한 지점 에서 특정 공간 까지 가져오 는 데 에 많 은 장애물 들 ( 중복 유실 등 ) 이 있 으며 가져오 려는 지점 이 많 아 지 면 많 아 질수록 더욱 문제 가 복잡 해진다 . 데이터 파이프라인 : 효율 을 위한 작업 데이터 파이프라인 의 시작 은 왜 , 어디 에서 , 어떻게 데이터 를 수집 할 것 인 가 에서 부 터 시작 한다 . 데이터 파이프라인 을 구축 하 . . 
 Fluentd vs Telegraf 차이점 알아보 기 2019 . 09 . 16 Telegraf 와 fluentd 는 아주 유사 해 보인다 . 둘 다 configuration 파일 기반 으로 작동 하 며 plugin 을 통해 개발자 가 custom 하 게 만든 input , filter , output 플러그 인 들 을 사용 하 여 데이터 를 처리 , 전송 가능 하 다 . 이 둘 은 어떤 차이 가 있 는 것 일까 ? Fluentd Star count ( 9 / 16 ) : 8 , 295 Github url : https : / / github . com / fluent / fluentd Fluentd 는 C 와 루비 로 작성 된 로그 수집 기 ( log aggregator ) 의 한 종류 이 다 . 여러 데이터 소스 에서 데이터 를 수집 해 오 는 부분 에 있 어 컴포넌트 로서 의 역할 을 한다 . fluentd 의 아키 텍 쳐 단순 성 과 안정 성 에 초점 을 두 고 사용 된다 . Fluentd 의 내부 구조 - Input : .. 
 아파치 Kafka Consumer 의 데이터 처리 내부 architecture 설명 및 튜닝 포인트 2018 . 12 . 24 지난 포스트 에서 Kafka producer 의 데이터 처리 내부 architecture 에 대해서 알아보 았 다 . ☞ 아파치 Kafka Producer architecture 설명 포스팅 이번 포스트 에서 는 kafka architecture 의 Consumer 내부 데이터 흐름 에 대해 알아보 려고 한다 . Kafka Consumer 데이터 내부 처리 순서 # 1 : poll ( record 취득 api ) 호출 # 2 : 가져오 고자 하 는 record 가 Fetcher queue 에 없 는 경우 , Fetch request 를 발동 하 여 broker 에서부터 record 를 가져온다 . # 3 : record batch 를 Fetcher queue 에 저장 # 4 : 어디 까지 읽 었 는지 에 대한 offset 을 consumer 측 에서 보관 # 5 : record ba . . 
 모든 것 을 측정 하 는 방법 - Bigdata 시대 에 부족 한 data 로 예측 하 기 2018 . 12 . 16 이 포스트 는 모든 것 을 측정 하 는 방법 을 읽 고 정리 한 글 입니다 . 해당 서적 : How to Maesure Anything ( amazon . com ) 근사 값 밖 에 구할 수 없 는 상황 에서 는 완벽 한 정확 성 을 추구 하 는 것 보다 가능 한 수준 의 정밀도 로 만족 하 는 것 이 지식인 에게 필요 한 태도 이 다 . - 아리스토텔레스 ( BC . 384 - BC . 322 ) 왜 측정 이 필요 한가 ? 모든 것 은 측정 가능 하 다 . 대체로 측정 불 가능 하 다고 여겨 지 는 많 은 문제 들 이 간단 한 측정 방법 을 통해 해결 될 수 있 다 . 특히 사업 경영 에서 흔히 접하 는 ' 보이 지 않 는 ' 것 들 에 대해 측정 이 가능 하 다 . 다음 과 같 은 것 들 이 일반 적 으로 생각 되 는 보이 지 않 는 것 들 의 예 이 다 . # IT 프로젝트 가 실패 할 위험 # 수집 한 정보 의 가치 # 품질 # 대중 적 이미지 위 의 예 들 은 사업 의 의 . . 
 JVM 에서 MapReduce 를 간편 하 게 쓸 수 있 는 오픈 소스 라이브러리 Cascading 2018 . 11 . 19 CascadingCascading 은 opensource library 로서 JVM 에서 쉽 게 bigdata 처리 를 가능 캐 한다 . 오픈 소스 이 며 apache license 를 보유 하 고 있 다 . # Website : https : / / www . cascading . org / # Github : https : / / github . com / Cascading / cascading # twitter : https : / / twitter . com / Cascading Source - pipe - sink 패러다임 을 채용 하 여 객체 지향 프로그래밍 언어 에서 도 data 처리 를 직관 적 으로 구현 할 수 있 다 . 기존 에 많이 사용 하 던 MapReduce code 와 비교 해 보 자 . Old MapReduce code Bigdata 를 다룰 때 맵 리듀스 ( MapReduce ) 는 흩어져 있 는 데이터 를 수 . .