빅 데이터 구축 및 제안 가이드 by kosena 8740 views 
 아마존 과 월마트 의 커머스 전쟁 by Chris ( Juntak ) Yoon 9223 views 
 하둡 ( Hadoop ) 및 관련 기술 훑어보 기 by beom kyun choi 30166 views 
 빅 데이터 개요 및 활용 by Jin Wook Jeong 8959 views 
 아이 워커 들 의 빅 데이터 이해 를 돕 기 위해 , 
 아 이웍스 ICT 사업 본부 장 정수 화 부사장 께서 발표 한 내부 교육 자료 입니다 . 
 아 이웍스 는 Hadoop 기반 빅 데이터 도입 에 필요 한 하드웨어 솔루션 을 전문 적 으로 취급 하 고 잘 구축 하 는 Datacenter 전문 기업 입니다 . 
 Junho Kim , 연세대 학교 학생 at 대학원생 
 jiyoungyun 4 
 1 . ICT 사업 본부 장 정수 화 shjeong @ iworks . kr Hadoop 기반 빅 데이터 이해 
 2 . 빅 데 이타 개념 • 정형 , 비 정형 대용량 데이터 를 모아 분석 , 통계 , 예측 • 기존 데이터 에 비해 너무 방대 해 이전 방법 이나 도구 로 수 집 , 저장 , 검색 , 분석 , 시각화 등 어렵 다 . • 기존 데이터베이스 SW 가 저장 , 관리 , 분석 할 수 있 는 범 위 를 초과 하 는 규모 의 데 이타 
 3 . 빅 데 이타 출현 배경 • 비 정형 데이터 급증 - 문자 , 음성 , GPS , 영상 , 인터넷 SNS , • 스마트폰 확산 – SNS , 쿠폰 , 광고 , GPS 위치 정보 , NFC 칩 , 비콘 , • 멀티미디어 콘텐츠 사용 관련 정보 • 각종 센 서로 부터 데이터 수집 , 저장 – IoT • 정보 의 바다  정보 의 홍수 
 4 . 빅 데 이타 특성 – 3 V • Volume ( 데이터 량 ) • Variety ( 다양 성 ) • Velocity ( 빠른 생 성 , 빠른 처리 ) Value 새로운 가치 창조 
 5 . 빅 데 이타 가치 
 6 . 빅 데 이타 활용 
 7 . 구글 Trend 
 8 . 빅 데 이타 분석 시스템 – 시스템 개념 도 
 9 . 하둡 - Hadoop • 목적 - 여러 대 의 컴퓨터 를 병렬 연결 , 상호 협력 하 여 컴 퓨 팅 의 성능 과 효율 향상 • 구성 - HDFS ( Hadoop Distributed File System ) - Map Reduce ( 분산 처리 프로그래밍 ) 
 10 . HDFS - 하둡 파일 시스템 • 클러스터 환경 에서 대용량 데이터 를 분산 해서 안정 적 으로 저장 하 는 프레임워크 • 큰 파일 을 일정 크기 의 덩어리 ( chunk ) 로 쪼 갬 • 덩어리 를 복제 하 여 전체 클러스터 에 분산 저장 • 일부 노드 장애 는 서비스 에 영향 을 주 지 않 음 
 11 . HDFS • 수백 GB – 수 TB 지원 • Write Once Read Many 파일 시스템 - 한 번 작성 되 면 바뀔 필요 없 는 경우 - Append 만 가능 • 저렴 한 컴퓨터 병렬 로 여러 개 연결 , 병렬 처리 지원 
 12 . MapReduce • 하둡 분산 파일 시스템 에 저장 된 분산 데 이타 를 클 러스 터로 연결 된 컴퓨팅 노드 들 이 병렬 로 데이터 를 처리 하 는 프레임워크 • 함수 형 프로그램 에서 일반 적 으로 사용 하 는 Map 과 Reduce 라는 함수 기반 으로 구성 • 복잡 한 컴퓨팅 을 MAP / Reduce 두 가지 로 단순 화 
 13 . Map / Reduce 예시 – word count 
 14 . 시각화 • 정의 : Visualization 은 숫자 를 공간 에 배치 해서 보 여줌 으로 써 그 패턴 을 인지 하 게 만드 는 것 이 다 . • 통계 / 분석 의 가장 중요 한 부분 . 1 . 데이터 의 특성 을 쉽 게 파악 ( vs 통계량 ) 2 . 결과 레포트 에 활용 -> 독립 된 학문 / 기술 분야 로 발전 • 근거 : 사람 은 탁월 한 패턴 인식 능력 이 있 음 . • 데이터 패턴 파악 의 도구 , 분석 을 돕 는 역할 -> 데이터 의 스토리텔링 : 소통 을 위한 전 달체 , 재미 / 유머 / 오락 성 
 15 . 빅 데 이타 처리 과정 
 16 . 빅 데 이타 활용 - 공공 • 목적 : 과학 적 정책 의사 결정 • 스마트 시티 • 서울시 지하철 승객 분포 – 가장 복잡 한 지하철 , .. • 성남시 도서관 자료 분석 • 해운대구 쓰레기 무단 투기 • 서울시 심야버스 분석 • 경기도 민원 분석 – 교통 > 생활 환경 > 주민 생활 , 계절 별 민원 • 관광객 정보 분석 – 축제 기간 유입 인구 분석 • 유동 인구 분석 으로 상권 분석 • 범죄 예방 – 20 대 여성 인구 시간 대별 분석 
 17 . 빅 데 이타 활용 – 유통 , 제조 , 금융 , . • 목적 : 비용 절감 , 수익 창출 • 아마존 – 고객 의 구매 이력 데이터 분석 • 월마트 – SNS 데이터 분석 , 점포 내 모바일 네 비게 이 션 • 넷플릭스 – 개인 화 된 VOD 서비스 • 다 이닝 코드 – 빅 데 이타 맛집 검색 , 500 만 개 blog 60 % 제거 • 제조 산업 – 센 서로 부터 IoT 데이터 분석 , 불량 율 , 생산 성 향상 • 금융 - FDS , 주가 예측 , 보험 상품 개발 , 보험 수익 계산 , 
 18 . 정리 • ICBM – IoT , Cloud , Bigdata , Mobile • 성장 분야 • 데이터 축적 이 기본 • 사업 구상 에서 closing 까지 오랜 기간 소요 ( 2 - 3 년 ) • 데이터 수집 , 분석 , 예측 , 시각화 등 전체 사업 수행 능력 • 소규모 IT 인력 openstack 으로 Bigdata 분석 은 무리 
 19 . ICT 사업 본부 장 정수 화 shjeong @ iworks . kr Thank you ! 
 아 이웍스 회사 소개서 ( 3 . 5 . 2 ) - 20180406 
 공공 기관 조달 G 2 B 제품 소개 - CISCO x 86 서버 , SAN 스위치 
 CISCO UCS 조달 제품 안내 ( 1 장 브로 셔 ) - 나라장터 , 2017 . 12 .