출처 : Couresera 정의 기계 학습 ( machine learning ) 은 인공 지능 의 한 분야 로 , 컴퓨터 가 학습 할 수 있 도록 하 는 알고리즘 과 기술 을 개발 하 는 분야 를 말 합니다 . 1959 년 , 인공지능 ( Artificial intelligence ) 의 선구자 인 아서 사무엘 ( Arthur Samuel ) 은 기계 학습 을 " 컴퓨터 에게 배울 수 있 는 능력 , 즉 코드 로 정의 하 지 않 은 동작 을 실행 하 는 능력 에 대한 연구 분야 " 라고 정의 하 였 습니다 . Machine learning 은 경험 을 통해서 자동 적 으로 컴퓨터 알고리즘 을 발전 시키 는 것 에 관한 연구 이 며 , 엄청난 데이터 에서 일반 적 인 규칙 을 발견 하 는 데이터 마이닝 프로그램 에서부터 , 자동 적 으로 사용 자 의 관심 사항 을 배우 게 되 는 정보 filtering system 까지 그 응용 은 광범위 합니다 . 아이 들 이 처음 으로 사과 를 먹 고 ' 사과 는 달콤 하 다 ' 라는 정보 를 알 수 있 습니다 . 그러면 그 아이 는 사과 파이 나 , 사과 잼 등 아직 먹 어 보 지 않 았 지만 사과 로 만든 여러 음식 또한 달콤 할 것 이 라고 판단 할 수 있 습니다 . 이 와 같이 , 컴퓨터 역시 이런 저런 것 들 을 가르치 면 그 와 관련 된 , 가르쳐 주 지 않 은 것 들 에 대해 답 할 수 있 습니다 . 즉 학습 데이터 를 바탕 으로 입력 데이터 를 분류 , 인식 할 수 있 게 하 는 알고리즘 이 기계 학습 알고리즘 이 다 . 많이 사용 하 는 기계 학습 알고리즘 마 할라 노 비스 : Mahalanobis distance 데이터 의 분포 모양 을 고려 한 거리 측도 입니다 . 우리 가 고등학교 수학 에서 데이터 를 표준 정규 분포 로 바꾼 후 에 z 값 을 구하 는 것 이 바로 마 할라 노 비스 거리 를 구하 는 과정 입니다 . 즉 , 마할 로비스 거리 는 평균 과 의 거리 가 표준 편 타 의 몇 배 인지 나타내 는 값 입니다 . 데이터 공분산 을 이용 한 나눗셈 연산 이 포함 되 어 있 고 , 공분산 이 단위행렬 ( 단위 분산 ) 일 경우 , 마 할라 노 비스 거리 는 유 클리 디언 거리 와 완전히 동일 하 게 됩니다 . ( 두 점간 의 거리 와 유사 도 판별 ) K - 평균 : K - means 데이터 의 분포 를 K 개 의 군집 으로 나누 는 비 교사 군집 화 알고리즘 입니다 . 이때 군집 의 개수 K 는 사용자 에 의해 입력 받 으며 , K - 평균 방법 은 중심점 들 이 가우 시안 이 아니 라는 점 과 군집 결과 가 마치 비누 거품 모양 을 닮 았 다는 점 에서 기대값 - 최대화 ( expectation maximization ) 방법 과 차이 가 있 습니다 . 군집 화 된 영역 들 은 희소 히스토그램 의 빈 으로써 사용 되 기 도 합니다 . 정상 / 순수 베이즈 분류기 : Bayesian Classifier 특징 들 의 분포 가 가우 시안 을 따르 고 , 서로 통계 적 으로 독립 적 이 라고 가정 한 생 성 분류기 입니다 . 이러 한 가정 은 항상 들어맞 는 것 이 아니 기 때문 에 이 분류기 는 종종 “ 순수 베이즈 ( naive Bayes ) ” 분류기 라고 불립니다 . 결정 트리 : Decision Tree 규 별 분류기 의 일종 이 며 , 트리 는 현재 노드 에서 데이터 를 가장 잘 나눌 수 있 는 하나 의 데이터 특징 과 임계 값 을 찾 습니다 . 데이터 가 두 클 래스 로 분기 되 고 , 이러 한 작업 은 트리 의 왼쪽 과 오른쪽 자식 노드 에서 재귀 적 으로 반복 됩니다 . 결정 트리 는 그다지 자주 최고 성 늘 을 보여 주 지 는 않 지만 , 속도 가 빠르 고 높 은 기능 성 을 가지 고 있 기 때문 에 가장 먼저 시도 되 는 분류기 입니다 . 부스 팅 : Boosting 최종 분류 는 개별 분류기 들 의 분류 결과 에 가중치 를 적용 하 여 조합 함 으로써 결정 됩니다 . 훈련 단계 에서 분류기 들 의 집단 은 한 번 에 하나 씩 학습 됩니다 . 각각 의 분류기 들 은 “ 약한 ” 분류기 라 불립니다 . 일반 적 으로 이러 한 약한 분류기 들 은 “ 결정 그루터기 ” 라고 불리 는 단일 변수 결정 트리 들 로 구성 됩니다 . 훈련 단계 에서 결정 그루터기 는 데이터 로부터 자신 의 분류 결정 을 학습 하 고 , 데이터 에 대한 해당 그루터기 의 정확도 를 근거 로 가중치 도 학습 합니다 . 각 분류기 를 하나 씩 훈련 시키 는 과정 에서 데이터 들 의 가중치 가 재 조정 함 으로써 오차 를 발생 시킨 데이터 에 관심 이 더 집중 되 게 만듭니다 . 이러 한 훈련 과정 은 데이터 잡 합의 전체 오 차 가 집합 임계각 보다 낮 아 질 때 까지 계속 됩니다 . 이러 한 알고리즘 은 대령 의 훈련 데이터 들 이 사용 가능 할 때 효과 적 입니다 . 랜덤 트리 : Random tree 다스 의 결정 트리 들 로 구성 된 구별 포레스트 ( forest ) 를 말 합니다 . 각 결정 트리 는 지정 된 깊이 까지 확장 될 수 있 습니다 . 각 트리 의 노드 들 은 데이터 특징 들 에서 암 의 로 선택 된 부분 집합 에 대해서 만 분기 변수 를 선택 하 도록 되 어 있 습니다 . 이렇게 함 으로써 각 트리 들 은 통계 적 으로 독립 적 인 결정 을 내리 게 됩니다 . 실행 단계 에서 는 각 트리 들 이 가중치 없 는 득표 를 얻 게 됩니다 . 이 알고리즘 은 매우 효과 적 이 고 , 각 트리 의 결과 숫자 들 의 평균 을 구함 으로써 회귀 를 수행 할 수 도 있 습니다 . 기대값 - 최대 화 : EM ( expectation - maximization ) 군집 화 를 위해 사용 되 는 생 성 비 교사 알고리즘 입니다 . 알고리즘 은 입력 데이터 를 N 개 의 가우 시안 함수 로 근사 화 하 며 , 여기 서 N 은 사용자 에 의해 입력 받 습니다 . 기대값 - 최대 화 는 복잡 한 분포 의 데이터 들 을 소수 의 파라미터 ( 가우 시안 함수 의 평균 과 표준 편차 ) 로 표현 할 수 있 습니다 . K - 최근 방 이웃 : KNN ( K - Nearest Neighbor ) 매운 단순 한 구별 분류기 이 며 , 훈련 데이터 는 레이블 과 함께 저장 합니다 . 실험 데이터 가 들어오 면 실험 데이터 와 가장 가까운 K 개 의 데이터 중 에서 가장 많이 발견 된 레이블 을 찾 고 , 이 를 해당 데이터 의 레이블 로 할당 합니다 . 거리 계산 은 일반 적 으로 유 클 리디안 거리 를 사용 합니다 . K - 최근 방 이웃 방법 은 실제 사용 할 수 있 는 분류 방법 중 에서 가장 간단 한 방법 입니다 . 이 방법 은 효과 적 이 긴 하 지만 , 느리 고 ( 훈련 데이터 를 모두 보관 하 여야 하 기 때문 에 ) 많 은 메모리 공간 을 필요 로 합니다 . 신경망 / 다층 퍼셉트론 : Neural Network / ( MLP ) 입력 신호 를 더 잘 표현 하 기 위하 여 입력 노드 와 출력 노드 사이 에 “ 은닉 층 ( hidden layer ) ” 를 가지 고 있 는 구별 알고리즘 입니다 . 이 방법 은 훈련 과정 은 느릴 수 있 지만 , 실제 분류 는 매우 빠르 게 동작 합니다 . 문자 인식 에서 가장 좋 은 성능 을 나타냅니다 . 서포트 벡터 머신 : SVM ( Support Vector Machine ) 회기 에서 도 사용 될 수 있 는 구별 분류기 입니다 . 두 데이터 점 사이 의 거리 함수 는 고차원 공간 에서 정의 됩니다 . 데이터 를 고차원 공간 으로 투영 함 으로써 이 데이터 들 이 보다 선형 으로 분리 되 기 쉬운 상태 로 변형 됩니다 . 서포트 벡터 머신 은 고차원 공간 에서 클 래스 들 을 최대한 효과 적 으로 분할 하 는 초평면 ( hyperplane ) 을 구합니다 . 이 알고리즘 은 제한 된 데이터 에 대하 여 최고 의 성능 을 보이 지만 , 대량 의 데이터 집합 이 사용 가능 한 경우 에 는 부 스팅 이나 랜덤 트리 보다 성능 이 떨어지 는 경향 이 있 습니다 . 참고 자료 1 . 위키백과 : 기계 학습 2 . http : / / www . aistudy . com / 3 . 현실 감각 0 % 4 . Open Robotics : 기계 학습 5 . 다크 프로그래머 : 평균 , 표준편차 , 분산 , 그리고 Mahalanobis 거리 저작 자 표시