데이터 공부 에 의외 로 도움 되 는 ‘ 공개 정보 분석 훈련 ’ – Samsung Newsroom Korea 
 데이터 공부 에 의외 로 도움 되 는 ‘ 공개 정보 분석 훈련 ’ 
 지난 회차 칼럼 에선 데이터 지능 을 키우 는 방법 중 하나 로 ‘ 일상 ( 이나 업무 ) 관련 문제 를 데이터 로 해결 하 는 방법 ’ 에 대해 소개 했 다 . 실제로 사람 들 대부분 이 자신 의 문제 를 데이터 로 풀 어 가 는 과정 에서 해결 방안 을 찾 을 수 있 다 . 문제 해결 을 원하 는 고객 과 문제 를 직접 풀어내 는 데이터 과학자 의 입장 을 동시 에 경험 할 수 도 있 다 . 그런데 데이터 로 해결 할 만 한 문제 자체 를 발견 하 기 어려울 땐 어떻 게 해야 할까 ? 
 다행히 최근 데이터 가치 에 대한 인식 이 높 아 지 면서 시중 에 다양 한 공개 데이터 가 나와 있 다 . 일례 로 예전 엔 극소수 관계자 에게 만 개방 됐 던 공공 데이터 의 상당수 가 일반 에 공개 된 상태 다 . 기업 도 경영 활동 도중 수집 한 데이터 중 일부 를 개인 정보 암호 화 등 소정 의 절차 를 거쳐 공개 하 고 있 다 . 이 밖 에 과학 ∙ 미디어 ∙ 스포츠 등 다양 한 분야 에서 도 공개 데이터 가 쏟아지 고 있 다 . 
 이번 칼럼 의 주제 는 ‘ 데이터 학습 시 공개 데이터 활용 하 기 ’ 다 . 독자 의 이해 를 돕 기 위해 한 가지 ‘ 샘플 데이터 ’ 를 예 로 들 어 설명 할 생각 이 다 . 데이터 과학 관련 문제 해결 모델 을 개발 , 분석 하 는 플랫 폼 기업 ‘ 캐글 ( Kaggle ) ’ 은 전 세계 에서 활동 중 인 데이터 과학자 조사 결과 를 발표 한 적 이 있 다 . 캐 글 이 주최 하 는 데이터 과학 경연 에선 대개 주최 측 이 문제 와 함께 실제 데이터 세트 ( Data Set ) [ 1 ] 와 평가 기준 을 공개 한다 . 경연 은 종종 적 지 않 은 상금 을 걸 고 진행 되 며 , 정해진 기한 안 에 최고 성과 를 거둔 기관 이 수상 의 영예 를 누린다 . 
 이런 경연 은 특정 기업 이 주최 해 1 회 성 으로 진행 되 기 도 , 캐 글 같 은 전문 업체 에 의해 치러 지 기 도 한다 . 지난해 말 캐 글 은 자사 웹 사이트 에 가입 한 데이터 과학자 를 대상 으로 ‘ 데이터 과학 을 공부 하 고 해당 분야 에서 경력 을 쌓 는 방법 ’ 에 대한 조사 를 진행 했 다 . 머신 러닝 ( machine learning ) 관련 경연 을 주로 주최 했 던 기업 특성 상 조사 참여 자 가 데이터 과학자 전체 를 대변 한다고 보 긴 어렵 다 . 하지만 총 응답자 수 가 1 만 6700 명 에 이르 는 등 상당 한 규모 를 갖춘 만큼 이제 막 데이터 과학 을 공부 하 기 시작 한 이 라면 충분히 흥미 를 느낄 만 하 다 . 
 # 1 단계 _ 연령 ∙ 국적 ∙ 교육 수준 등 ‘ 기본 정보 분포 ’ 파악 하 기 
 설문 결과 를 본격 적 으로 살피 기 전 응답자 의 ‘ 기본 정보 ’ 를 면밀히 들여다볼 필요 가 있 다 . 우선 나이 와 거주 지 . 아래 두 그래프 에 따르 면 이 조사 응답자 의 대다수 는 20 대 초반 부터 30 대 초반 까지 의 미국 ∙ 인도 거주 자다 ( 한국 국적 자 는 194 명 으로 20 위 권 에 해당 한다 ) . 그래프 에 나타나 진 않 았 지만 약 85 % 는 남성 이 었 다 . 
 [ 그래프 1 ] 응답자 연령 분포 
 [ 그래프 2 ] 응답자 거주 지역 분포 
 응답자 의 교육 수준 은 ‘ 석사 > 학사 > 박사 ’ 순 ( 順 ) 으로 많 았 다 . 전공 은 컴퓨터 과학 ∙ 수학 ∙ 통계학 이 다수 를 차지 했 지만 기타 전공 자 수 도 만만 찮아 수학 과 통계학 전공 자 수 를 훌쩍 넘어섰 다 . 사회학 이나 경영학 등 특이 전공 자 가 일부 눈 에 띄 긴 했 지만 아직 은 데이터 과학 분야 가 이과 전공 자 의 영역 이 란 사실 을 알 수 있 다 . 
 [ 그래프 3 ] 응답자 교육 수준 분포 
 [ 그래프 4 ] 응답자 전공 분포 
 # 2 단계 _ 지도 ∙ 데이터 등 시각 자료 로 데이터 ‘ 흐름 ’ 살피 기 
 이 처럼 기본 정보 분포 파악 은 데이터 분석 작업 의 기초 로서 무척 중요 하 다 . 이 사례 의 경우 , 응답자 의 거주지 분포 확인 과정 을 거치 지 않 는다면 추후 대부분 의 응답 이 미국 과 인도 에서 왔 단 사실 을 간과 하 기 쉽 다 ( 이 는 자칫 데이터 분석 결과 에 오류 를 초래 할 수 있 다 ) . 
 그럼 이번 엔 좀 더 구체 적 인 분석 으로 들어가 보 자 . 국가 별 데이터 과학자 가 느끼 는 삶 의 질 , 그리고 그 에 영향 을 끼치 는 요인 을 살펴볼 생각 이 다 . 판단 의 기준 이 될 자료 는 국가 별 응답자 의 직업 만족도 와 보수 , 구직 기간 의 평균치 를 보여 주 는 아래 표 다 . 
 [ 표 ] 국가 별 응답자 의 평균 구직 기간 과 보수 , 직업 만족 도 
 위 와 같 은 표 는 하나 씩 뜯어보 면 이해 되 지만 전체 추세 를 파악 하 긴 어렵 다 . 특히 이 표 에서 처럼 지리 적 정보 ( 국가 ) 를 시각 화 할 때 가장 좋 은 방법 은 지도 를 활용 하 는 것 이 다 . 아래 지도 는 국가 별 급여 수준 분포 를 색상 으로 보여준다 . 급여 수준 은 녹색 이 진할수록 높 고 빨간색 이 진할수록 낮 다 . 한눈 에 봐도 미국 과 호주 , 유럽 지역 에 거주 하 는 데이터 과학자 의 보수 수준 이 높 단 사실 을 알 수 있 다 . 
 [ 그림 1 ] 데이터 과학자 의 국적 별 보수 수준 분포 
 이번 엔 유사 한 방식 으로 직업 만족도 를 확인 해 볼 차례 다 . 결과 는 아래 지도 와 같 다 . 보수 수준 분포 때 와 마찬가지 로 서구 권 국가 의 수치 가 비교 적 높 은 걸 확인 할 수 있 다 . 특이 한 건 러시아 데이터 과학자 들 이 다 . 보수 수준 이 낮 은데 도 직업 만족도 는 높 은 편 이 기 때문 . 반면 , 아시아 지역 국가 들 은 보수 수준 과 직업 만족 도 둘 다 낮 게 나타났 다 . 
 [ 그림 2 ] 데이터 과학자 의 국적 별 직업 만족 도 분포 
 이 처럼 지도 를 활용 하 면 보수 수준 과 직업 만족도 의 지리 적 분포 를 쉽 게 확인 할 수 있 다 . 하지만 여전히 두 지표 간 상관 관계 를 파악 하 기 엔 역부족 이 다 . 이 작업 을 수행 하 려면 보다 정교 한 장치 가 필요 하 다 . 아래 그래프 와 같 은 일명 ‘ 스 캐 터 플롯 ( scatter plot ) [ 2 ] ’ 이 대표 적 이 다 . 언뜻 보 면 보수 수준 과 직업 만족 도 사이 에 여전히 뚜렷 한 상관 관계 가 없 는 것 같 다 . 하지만 국가 별 소득 수준 차 를 고려 하 면 ( 소득 수준 대비 ) 절대 적 보수 수준 보다 상대 적 보수 수준 이 더 많 은 정보 를 전달 하 는 지표 일 수 있 다 . 
 [ 그래프 5 ] 직업 만족도 와 보수 수준 간 상관 관계 
 그래서 이번 엔 국가 별 평균 급여 를 1 인 당 국민 소득 으로 나눈 상대 적 보수 수준 을 활용 , 아래 그래프 를 만들 었 다 . 이 그래프 에 따르 면 대부분 의 국가 에서 데이터 과학자 는 평균 소득 의 1 . 5 배 내지 2 배 를 번다 . 중국 ∙ 인도 데이터 과학자 는 평균 소득 의 곱절 이상 을 벌 면서 도 직업 만족도 가 낮 았 다 . 이런 결과 를 볼 때 직업 만족도 가 오로지 소득 수준 에 만 좌우 되 는 건 아니 란 사실 을 짐작 할 수 있 다 ( 추가 요인 을 찾아내 는 일 은 독자 의 몫 으로 남겨 둔다 ) . 
 [ 그래프 6 ] 평균 소득 대비 직업 만족도 와 보수 수준 간 상관 관계 
 데이터 시각 키우 고 인사이트 찾 고 … 말 그대로 ‘ 일석 삼조 ’ 
 이상 과 같이 데이터 생활 화 의 한 방법 으로 공개 데이터 활용 요령 을 살펴봤 다 . 적절히 시각 화 된 자료 를 바탕 으로 일정 유형 ( pattern ) 을 찾아내 는 데이터 분석 의 묘미 를 조금 이나마 느꼈 길 바란다 . 이 처럼 분야 별 로 공개 된 자료 를 데이터 학습 재료 로 활용 하 면 여러 가지 를 배울 수 있 다 . 이미 정리 된 자료 에선 얻 기 힘 은 통찰력 ( insight ) 을 발견 할 수 있 는 건 물론 , 데이터 를 보 는 안목 도 키울 수 있 다 . 캐 글 의 경우 , 이 데이터 를 활용 ∙ 분석 한 결과물 에 상금 을 지급 하 기 도 했으니 그야말로 ‘ 일석 삼조 ( 一石三鳥 ) ’ 라 할 수 있 다 . 내 가 운영 중 인 홈페이지 ‘ 데이터 지능 팟캐스트 ’ 에 접속 하 면 공개 데이터 를 구할 수 있 는 웹 사이트 와 분석 사례 가 여러 개 소개 돼 있 으니 관심 있 는 독자 라면 참고 해도 좋 겠 다 . 
 [ 1 ] 컴퓨터 에서 사용 할 수 있 도록 저장 된 , 유사 하 거나 관련 된 데이터 의 집합체 
 [ 2 ] 두 개 이상 변수 분포 에서 각 개체 를 점 으로 표시 한 그림 . 산점도 ( 散 點 圖 ) 라고 도 한다 . 두 변수 간 관계 를 시각 적 으로 검토 할 때 유용 하 다 
 TAGS 공공 데이터 공공 테이터 활용 법 데이터 분석 데이터 생활 화 
 고흐 그림 이 눈앞 에 ? … 예술 이 쉬워 지 는 가상현실