빅 데이터 ( Big Data ) 란 기존 데이터베이스 관리 도구 의 능력 을 넘어서 는 대량 ( 수십 테라바이트 ) 의 정형 또는 심지어 데이터베이스 형태 가 아닌 비 정형 의 데이터 집합 조차 포함 한 데이터 로부터 가치 를 추출 하 고 결과 를 분석 하 는 기술 이 다 . 다양 한 종류 의 대 규모 데이터 에 대한 생 성 , 수집 , 분석 , 표현 을 그 특징 으로 하 는 빅 데이터 기술 의 발전 은 다변 화 된 현대 사회 를 더욱 정확 하 게 예측 하 여 효율 적 으로 작동 케 하 고 개인 화 된 현대 사회 구성원 마다 맞춤 형 정보 를 제공 , 관리 , 분석 가능 케 하 며 과거 에 는 불 가능 했 던 기술 을 실현 시키 기 도 한다 . 이 같이 빅 데이터 는 정치 , 사회 , 경제 , 문화 , 과학 기술 등 전 영역 에 걸쳐서 사회 와 인류 에게 가치 있 는 정보 를 제공 할 수 있 는 가능 성 을 제시 하 며 그 중요 성 이 부각 되 고 있 다 . 하지만 빅 데이터 의 문제점 은 바로 사생활 침해 와 보안 측면 에 자리 하 고 있 다 . 빅 데이터 는 수많 은 개인 들 의 수많 은 정보 의 집합 이 다 . 그렇 기에 빅 데이터 를 수집 , 분석 할 때 에 개인 들 의 사 적 인 정보 까지 수집 하 여 관리 하 는 빅브라더 의 모습 이 될 수 도 있 는 것 이 다 . 그리고 그렇게 모은 데이터 가 보안 문제 로 유출 된다면 , 이 역시 거의 모든 사람 들 의 정보 가 유출 되 는 것 이 기 에 큰 문제 가 될 수 있 다 . 세계 경제 포럼 은 2012 년 떠오르 는 10 대 기술 중 그 첫 번 째 를 빅 데이터 기술 로 선정 했으며 대한민국 지식 경제 부 R & D 전략 기 획단 은 IT 10 대 핵심 기술 가운데 하나 로 빅 데이터 를 선정 하 기 도 했 다 . 정의 빅 데이터 는 통상 적 으로 사용 되 는 데이터 수집 , 관리 및 처리 소프트웨어 의 수용 한계 를 넘어서 는 크기 의 데이터 를 말 한다 . 빅 데이터 의 사이즈 는 단일 데이터 집합 의 크기 가 수십 테라바이트 에서 수 페타바이트 에 이르 며 , 그 크기 가 끊임없이 변화 하 는 것 이 특징 이 다 . 특징 빅 데이터 의 공통 적 특징 은 3 V 로 설명 할 수 있 다 . 데이터 의 양 ( Volume ) , 데이터 생성 속도 ( Velocity ) , 형태 의 다양 성 ( Variety ) 을 의미 한다 데이터 속도 ( Velocity ) 는 대용량 의 데이터 를 빠르 게 처리 하 고 분석 할 수 있 는 속성 이 다 . 융 복합 환경 에서 디지털 데이터 는 매우 빠른 속도 로 생산 되 므로 이 를 실시간 으로 저장 , 유통 , 수집 , 분석 처리 가 가능 한 성능 을 의미 한다 . 정형 데이터 뿐 만 아니 라 사진 , 오디오 , 비디오 , 소셜 미디어 데이터 , 로그 파일 등 과 같 은 비 정형 데이터 도 포함 된다 . 다양 성 ( Varity ) 은 다양 한 종류 의 데이터 를 의미 하 며 정형 화 의 종류 에 따라 정형 , 반 정형 , 비 정형 데이터 로 분류 할 수 있 다 . 빅 데이터 의 새로운 V - 정확 성 ( Veracity ) : 빅 데이터 시대 에 는 방대 한 데이터 의 양 을 분석 하 여 일정 한 패턴 을 추출 할 수 있 다 . 하지만 정보 의 양 이 많 아 지 는 만큼 데이터 의 신뢰 성 이 떨어지 기 쉽 다 . 따라서 빅 데이터 를 분석 하 는데 있 어 기업 이나 기관 에 수집 한 데이터 가 정확 한 것 인지 , 분석 할 만 한 가치 가 있 는지 등 을 살펴야 하 는 필요 성 이 대두 되 었 고 , 이러 한 측면 에서 새로운 속성 인 정확 성 ( Veracity ) 이 제시 되 고 있 다 . - 가변성 ( Variability ) : 최근 소셜 미디어 의 확산 으로 자신 의 의견 을 웹 사이트 를 통해 자유 롭 게 게시 하 는 것 이 쉬워졌 지만 실제로 자신 의 의도 와 는 달리 자신 의 생각 을 글 로 표현 하 게 되 면 맥락 에 따라 자신 의 의도 가 다른 사람 에게 오해 를 불러일으킬 수 있 다 . 이 처럼 데이터 가 맥락 에 따라 의미 가 달라진다고 하 여 빅 데이터 의 새로운 속성 으로 가변성 ( Variability ) 이 제시 되 고 있 다 . - 시각화 ( Visualization ) : 빅 데이터 는 정형 및 비 정형 데이터 를 수집 하 여 복잡 한 분석 을 실행 한 후 용도 에 맞 게 정보 를 가공 하 는 과정 을 거친다 . 이때 중요 한 것 은 정보 의 사용 대상자 의 이해 정도 이 다 . 그렇 지 않 으면 정보 의 가공 을 위해 소모 된 시간 적 , 경제 적 비용 이 무용지물 이 될 수 있 기 때문 이 다 . 분석 기법 빅 데이터 를 다루 는 처리 프로세스 로서 병렬 처리 의 핵심 은 분할 점령 ( Divide and Conquer ) 이 다 . 즉 데이터 를 독립 된 형태 로 나누 고 이 를 병렬 적 으로 처리 하 는 것 을 말 한다 . 빅 데이터 의 데이터 처리 란 이렇게 문제 를 여러 개 의 작 은 연산 으로 나누 고 이 를 취합 하 여 하나 의 결과 로 만드 는 것 을 뜻 한다 . 대용량 의 데이터 를 처리 하 는 기술 중 가장 널리 알려진 것 은 아파치 하둡 과 같 은 Map - Reduce 방식 의 분산 데이터 처리 프레임워크 이 다 . 대부분 의 빅 데이터 분석 기술 과 방법 들 은 기존 통계학 과 전산학 에서 사용 되 던 데이터 마이닝 ( data mining ) , 기계 학습 ( machine learning ) , 자연 언어 처리 , 패턴 인식 등 이 해당 한다 . 소셜 미디어 등 비 정형 데이터 의 증가 로 인해 분석 기법 중 에서 텍스트 마이닝 , 오 피니언 마이닝 , 소셜 네트워크 분석 , 군집 분석 등 이 주목 받 고 있 다 . - 아파치 하둡 ( Apache Hadoop ) : 대량 의 자료 를 처리 할 수 있 는 큰 컴퓨터 클러스터 에서 동작 하 는 분산 응용 프로그램 을 지원 하 는 프리웨어 자바 소프트웨어 프레임워크 - 텍스트 마이닝 : 비 / 반정 형 텍스트 데이터 에서 자연 언어 처리 기술 에 기반 을 두 어 유용 한 정보 를 추출 , 가공 - 오 피니언 마이닝 : 소셜 미디어 등 의 정형 / 비 정형 텍스트 의 긍정 , 부정 , 중립 의 선호도 를 판별 - 소셜 네트워크 분석 : 소셜 네트워크 의 연결 구조 및 강도 등 을 바탕 으로 사용 자 의 명성 및 영향력 을 측정 - 군집 분석 : 비슷 한 특성 을 가진 개체 를 합쳐 가 면서 최종 적 으로 유사 특성 의 군집 을 발굴 대 규모 의 정형 / 비 정형 데이터 를 처리 하 는 데 있 어 가장 기본 적 인 분석 인프라 로 하둡 이 있 으며 데이터 를 유연 하 고 더욱 빠르 게 처리 하 기 위해 NoSQL 기술 이 활용 되 기 도 한다 . 빅 데이터 분석 기술 을 통해 분석 된 데이터 의 의미 와 가치 를 시각 적 으로 표현 하 기 위한 기술 로 대표 적 인 것 으로 는 R ( 프로그래밍 언어 ) 이 있 다 . ​ 활용 사례 1 ) 2008 년 미국 대통령 선거 2008 년 미국 대통령 선거 에서 버락 오바마 미국 대통령 후보 는 다양 한 형태 의 유권자 데이터베이스 를 확보 하 여 이 를 분석 , 활용 한 ' 유권자 맞춤 형 선거 전략 ' 을 전개 했 다 . 당시 오바마 캠프 는 인종 , 종교 , 나이 , 가구 형태 , 소비 수준 과 같 은 기본 인 적 사항 으로 유권자 를 분류 하 는 것 을 넘어서 서 과거 투표 여부 , 구독 하 는 잡지 , 마시 는 음료 등 유권자 성향 까지 전화 나 개별 방문 을 또는 소셜 미디어 를 통해 유권자 정보 를 수집 하 였 다 . 수집 된 데이터 는 오바마 캠프 본부 로 전송 되 어 유권자 데이터베이스 를 온라인 으로 통합 관리 하 는 ‘ 보트 빌더 ( VoteBuilder . com ) ’ 시스템 의 도움 으로 유권자 성향 분석 , 미결정 유권자 선별 , 유권자 에 대한 예측 을 해 나갔 다 . 이 를 바탕 으로 ‘ 유권자 지도 ’ 를 작성 한 뒤 ‘ 유권자 맞춤 형 선거 전략 ’ 을 전개 하 는 등 오바마 캠프 는 비용 대비 효과 적 인 선거 를 치를 수 있 었 다 . 2 ) 아마존닷컴 의 추천 상품 표시 / 구글 및 페이스북 의 맞춤 형 광고 아마존닷컴 은 모든 고객 들 의 구매 내역 을 데이터베이스 에 기록 하 고 , 이 기록 을 분석 해 소비자 의 소비 취향 과 관심사 를 파악 한다 . 이런 빅 데이터 의 활용 을 통해 아마존 은 고객 별 로 ' 추천 상품 ( 레코 멘 데 이 션 ) ' 을 표시 한다 . 고객 한 사람 한 사람 의 취미 나 독서 경향 을 찾 아 그 와 일치 한다고 생각 되 는 상품 을 메일 , 홈 페이지 상 에서 중점 적 으로 고객 한 사람 한 사람 에게 자동 적 으로 제시 하 는 것 이 다 . [ 22 ] 아마존닷컴 의 추천 상품 표시 와 같 은 방식 으로 구글 및 페이스북 도 이용자 의 검색 조건 , 나아가 사진 과 동영상 같 은 비 정형 데이터 사용 을 즉각 처리 하 여 이용자 에게 맞춤 형 광고 를 제공 하 는 등 빅 데이터 의 활용 을 증대 시키 고 있 다 . 3 ) 보건 의료 국민 건강 보험 공단 은 가입자 의 자격 · 보험료 , 진료 · 투약 내용 , 건강 검진 결과 및 생활 습관 정보 등 2 조 1 천억 건 , 92 테라바이트 의 빅 데이터 를 보유 하 고 있 고 , 한편 , 건강 보험 심사 평가 원 은 진료 내역 , 투약 내용 ( 의약품 안심 서비스 ) , 의약품 유통 등 의 2 조 2 천억 건 , 89 테라바이트 의 빅 데이터 를 보유 하 고 있 으며 , 경제 협력 개발 기구 ( OECD ) 는 한국 의 건강 보험 빅 데이터 순위 가 2 위 라고 발표 했었 다 . 건보 공단 과 심평 원 은 빅 데이터 를 민간 에 널리 알리 고 더 많이 개방 하 고 있 다 . ( 연합뉴스 2016 . 6 . 14 인터넷 뉴스 참조 ) 빅 데이터 를 활용 하 면 미국 의료 부문 은 연간 3 , 300 억 달러 ( 미 정부 의료 예산 의 약 8 % 에 해당 하 는 규모 ) 의 직간접 적 인 비용 절감 효과 를 보일 것 으로 전망 된다 . 특히 임상 분야 에서 는 의료 기관 별 진료 방법 , 효능 , 비용 데이터 를 분석 하 여 보다 효과 적 인 진료 방법 을 파악 하 고 환자 데이터 를 온라인 플랫 폼 화 하 여 의료 협회 간 데이터 공유 로 치료 효과 를 제고 하 며 공중 보건 영역 에선 전국 의 의료 데이터 를 연계 하 여 전염병 발생 과 같 은 긴박 한 순간 에 빠른 의사 결정 을 가능 케 할 전망 이 다 . 한편 , 의료 분야 에서 빅 데이터 가 효과 를 발휘 하 기 위해서 는 대량 의 의료 정보 수집 이 필수 적 이 기 때문 에 , 개인 정보 의 보호 와 빅 데이터 활용 이 라는 두 가지 가치 가 상충 하 게 된다 . 따라서 , 의료 분야 에서 빅 데이터 의 활용 과 보급 을 위해서 는 이러 한 문제 에 대한 가이드라인 마련 이 필요 한 상태 이 다 . 공유 하 기 글 요소