 데이터 분석에서 가장 어렵고 힘든 일 중 하나가 바로 데이터 정제 작업이다.
  데이터를 기계가 인식하기 좋게 잘 정리하는 동시에, 잘못 기록(중복 또는 오기)된 데이터를 고치거나 삭제해 제대로 된 수치만 남겨 정리하는 것도 여기에 포함된다.
  이때, 이 눈엣가시 같은 수치를 ‘이상치(Anomaly, 통계 용어로는 Outlier)’라고 한다.
  그런데 이상치 가운데는 정말 의미 있는 수치도 있다.
  예를 들어 신용카드가 해외에서 복제돼 쓰이는 경우가 여기에 속한다.
  분명 사용자의 최근 기록은 모두 한국인데, 몇 시간 만에 프랑스에서 카드가 긁혔다면 그것은 사기 거래 발생 가능성을 알려주는 지표가 된다.
  주식에서도 마찬가지다.
  갑작스러운 상승, 하락의 지표는 향후 주가 예측을 위해 결코 삭제돼선 안 될 중요한 요소 중 하나다.
  하지만 이러한 ‘이상한 로그’의 발생을 실시간으로 아는 것도, ‘이상한 수치’의 중요도를 순간적으로 판단하는 것도 인간만의 힘으론 꽤 힘들다.
  만물상자 ‘딥러닝’과 이상치의 만남특히 제조업과 금융업에서의 이상치 발견은 아주 중요한 요소다.
  최근에는 데이터의 패턴을 보고, 패턴의 특이도에 따라 군집을 묶는 방식의 딥러닝 기법이 주목받고 있다.
  제조 장비의 로그 데이터를 딥러닝 모델에 넣어 돌려보면 변수에 따라 비슷한 패턴을 보이는 데이터끼리 묶이게 된다.
  정상적인 데이터로부터 떨어져 나오는 군집으로부터 이상치를 발견하고, 그것의 빈도를 파악해 향후 장비의 고장 여부를 판단할 수 있다.
  금융도 마찬가지다.
  금융거래 사기나 보이스피싱과 같은 특이 행동을 파악하기에 본 방법은 아주 유용하다.
  부정적인 상황을 골라내는 것뿐 아니라, 갑작스러운 상황에 대한 대처용으로도 이상치 데이터는 다채롭게 쓰일 수 있다.
  인공지능 업계에서 눈여겨보는 주식 분석의 경우, 지금까지는 사회에서 발생하는 돌발 상황에 대한 실시간 주가 예측에 약한 모습을 보여왔다.
  하지만 최근에는 비지도 학습(unsupervised learning) 기반 알고리즘이 높은 성능을 보이고, 여러 외부 데이터와의 결합 분석도 활발하게 진행돼 예측력 또한 점점 나아지는 모양새다.
  이를테면 실시간 뉴스의 텍스트를 분석해 주가 분석에 활용한 연구가 있는데, 이 경우 예기치 못한 상황, 즉 ‘이상치’에 대한 분석 반영을 꽤 도울 수 있었다고 한다.
  특이한 사건의 발생과 주가 등락을 짝지어 주식 예측 알고리즘의 성능을 향상하는 것이다.
 
데이터 분석에서 가장 어렵고 힘든 일 중 하나가 바로 데이터 정제 작업이다. 데이터를 기계가 인식하기 좋게 잘 정리하는 동시에, 잘못 기록(중복 또는 오기)된 데이터를 고치거나 삭제해 제대로 된 수치만 남겨 정리하는 것도 여기에 포함된다.