신호 와 소음 : 갑골문 의 占 과 빅 데이터 예측 … 과거 분석 해 미래 볼 수 있 을까 | Painesplatz 
 신호 와 소음 : 갑골문 의 占 과 빅 데이터 예측 … 과거 분석 해 미래 볼 수 있 을까 
 2014 년 7 월 3 일 2016 년 6 월 17 일 / Painesplatz 
 작년 에 송고 한 네이트 실버 의 “ 신호 와 소음 ( The Signal and the Noise ) ” 서평 
 인간 을 만물 의 영장 으로 만든 것 은 인간 의 뇌 다 . 오랜 진화 과정 에서 다른 종 보다 우수 한 뇌 를 가지 게 된 인류 는 복잡 한 현상 의 패턴 을 일반 화 하 여 앞날 을 예측 하 고 , 주어진 자극 에 대한 대비책 을 강구 했으며 , 습득 한 노하우 를 전달 할 수 있 었 다 . 인류 의 지능 은 호랑이 의 이빨 보다 더 예리 하 고 코뿔소 의 뿔 보다 더 뾰족 한 무기 였 다 . 
 하지만 때때로 이런 패턴 화 과정 이 엉뚱 하 게 작용 하 기 도 한다 . 인류 의 조상 들 은 하늘 의 별 이 움직이 는 패턴 을 보 고 나라 의 운명 을 점치 기 도 했 고 , 거북 이 등껍질 이 갈라지 는 패턴 을 보 고 사람 의 명운 을 점치 기 도 했 다 . 데이터 간 상관 성 과 인과 성 에 대한 혼동 때문 이 었 다 . 
 21 세기 인류 는 갑골문 의 시대 와 얼마나 멀 어 졌 을까 ? 여전히 우리 는 우리 조상 들 처럼 서로 관계 없 는 현상 사이 를 잘못 패턴 화 하 거나 , 과거 로부터 이어진 패턴 이 앞 으로 도 아무런 단절 없이 꾸준히 선형 적 으로 이어질 것 이 라고 쉽 게 가정 한다 . 일종 의 데이터 점성술 , 데이터 갑골문 이 다 . 
 그 와중 에 등장 한 ‘ 빅 데이터 ’ 는 인류 에게 있 어 축복 이 자 저주 다 . IBM 에 따르 면 매일 마다 전 세계 에서 25 억 기가바이트 의 데이터 가 쏟아지 고 있 으며 , 최근 2 년 동안 에 생산 한 자료 가 인류 탄생 이후 축적 한 모든 데이터 의 90 % 에 달한다고 한다 . 인간 의 뇌 가 저장 할 수 있 는 최대 용량 이 약 3 테라바이트 , 즉 3 천 기가바이트 인 점 을 감안 한다면 , 정보 과부하 속 에서 쓸데없 는 데이터 간 의 관계 를 성급 하 게 일반 화 하 는 일 이 더욱 더 빈번 하 게 일어날 것 이 라는 우려 는 매우 합리 적 이 고 타당 한 지적 이 다 . 그래서 빅 데이터 가 강조 되 면 될수록 , 데이터 를 수집 하 는 능력 보다 데이터 를 잘 버리 는 능력 , 다시 말 해 의미 없 는 노이즈 데이터 ( 소음 ) 을 걸러 내 고 , 진짜로 가치 있 는 ‘ 신호 ’ 들 만 포착 하 는 역량 이 중요 해진다 . 
 ‘ 신호 와 소음 ’ 의 저자 네이트 실버 는 책 제목 그대로 신호 와 소음 을 걸러 내 는 데 있 어서 최근 몇 년 사이 에 놀라운 성공 케이스 를 만들 어 낸 사람 이 다 . 그 가 지난 2003 년 에 컨설팅 업무 중 소일거리 로 만든 통계 예측 프로그램 ‘ 페코 타 ( PECOTA ) ’ 는 그 어떤 전문가 들 의 예측 보다 정확 하 게 메이저 리그 야구 선수 들 의 성과 를 예측 해 냈으며 , 2008 년 에 개설 한 블로그 ‘ 파이브 서티 에 잇 ( 538 ) ’ 에 게재 된 선거 결과 예측 은 그 누구 의 예측 보다 정확 했 다 . 그 는 2008 년 미 대선 당시 50 개 주 중 인디애나 주 를 제외 한 49 개 주 의 결과 를 정확히 예측 했 고 , 총선 에서 상원 당선자 35 명 전원 을 맞췄 다 . 2012 년 대선 에선 다른 유력 조사 회사 들 이 박빙 을 이야기 할 때 오바마 의 낙승 을 단언 했 고 이 또한 보 기 좋 게 적중 했 다 . 
 통계학 을 전공 하 지 도 않 았 던 그 가 이러 한 놀라운 예측 을 선보일 수 있 었 던 비결 은 ‘ 베이즈 정리 ’ 에 있 다 . 베이즈 정리 는 쉽 게 말 해 모든 확률 이 고정 적 이 고 객관적으로 실재 하 는 것 으로 간주 하 는 대신 에 , 확률 측정 과정 의 시행 착오 나 환경 변화 로 인한 다양 한 변화 의 ‘ 개연 성 ’ 을 열 어 놓 고 확률 을 계산 하 는 방법론 이 다 . 대전제 를 통한 연역 , 연역 에서 도출 된 가설 로 데이터 를 수집 해 귀납 , 귀납 을 통해 나온 새로운 대전제 로 다시금 연역 , 새로운 전제 와 가설 을 바탕 으로 다시금 귀납 하 는 이러 한 접근 법 은 인간 의 예 측력 과 판단력 , 그리고 측정 장치 와 감각 의 한계 를 어느 정도 인정 하 고 가 는 겸손 하 고 유연 한 접근 이 다 . ‘ 참 ’ 이 ‘ 참 ’ 일 수 있 는 것 은 ‘ 참 ’ 을 전복 할 또 다른 ‘ 참 ’ 이 나오 기 전 까지 로 한정 된다는 것 이 다 . 
 권위 에 대한 맹신 , 감과 경험 에 대한 과신 은 빅 데이터 시대 에 실패 하 는 이 들 을 위한 왕도 가 될 것 이 다 . 취약 한 권위 와 과잉 대표 된 경험 의 ‘ 갑골문 ’ 을 대신 할 수 있 는 대안 을 찾 고 싶 은 분 들 , 그리고 폭풍 처럼 쏟아지 는 데이터 의 홍수 속 에서 신호 와 소음 을 정확 하 게 분별 해 가치 있 는 예측 을 뽑아내 기 원 하 는 분 들 에게 이 책 은 좋 은 길잡이 이 자 무기 가 될 것 이 다 . 
 Big Data , 네이트 실버 , 갑골문 , 빅 데이터 , 서평 , 신호 와 소음 , Nate Silver , The Signal and the Noise 
 ← “ 거리 의 지혜 ” , 실용 지능 ( practical intelligence ) 
 그녀 ( HER ) 들 의 시대 →