utoencoder 딥 러닝 다층 퍼셉트론 순환 신경망 LSTM GRU Restricted Boltzmann machine 자기조직화지도 합성곱 신경망 강화 학습 Q 러닝 SARSA 시간차 학습 이론 편향 - 분산 트레이드오프 Computational learning theory Empirical risk minimization PAC learning Statistical learning VC theory v. d. e. h 조건부 무작위장 ( 영어 : conditional random field 조건부 랜덤 필드 [ * ] ) 이란 통계적 모델링 방법중에 하나로, 패턴 인식과 기계 학습과 같은 구조적 예측에 사용된다. 일반적인 분류자 ( 영어 : classifier ) 가 이웃하는 표본을 고려하지 않고 단일 표본의 라벨을 예측하는 반면, 조건부 무작위장은 고려하여 예측한다. 자연 언어 처리 분야에서 자주 사용되는 선형 사슬 조건부 무작위장 ( 영어 : linear chain CRF ) 은 일련의 입력된 표본들에 대해 일련의 라벨들을 예측한다. 조건부 무작위장은 판별적 비방향성 그래프 모형의 한 형태이며, 관찰되는 것들의 알려진 관계를 암호화, 일관된 해석을 구성하는데 사용된다. 또, 자연언어로 된 글 또는 생물학적 서열 정보, 그리고 컴퓨터 비전 분야에서의 일련의 데이터에 대한 라벨 예측, 분석하
되는 것들의 알려진 관계를 암호화, 일관된 해석을 구성하는데 사용된다. 또, 자연언어로 된 글 또는 생물학적 서열 정보, 그리고 컴퓨터 비전 분야에서의 일련의 데이터에 대한 라벨 예측, 분석하는 데 사용되기도 한다. 구체적으로, 조건부 무작위장은 부분구문분석, 개체명 인식, 유전자 검색 등의 응용 분야에 사용될 수 있으며, 이러한 분야에서 은닉 마르코프 모델의 대안이 될 수 있다. 컴퓨터 비전 분야에서는 객체 인식, 이미지 분할에 종종 사용된다. 목차 1 소개 2 수학적 정의 3 추론 방법 3. 1 정확한 추론 방법 3. 2 근사적 추론 방법 4 파라미터 학습 방법 4. 1 트리 구조에서의 학습 4. 2 일반 그래프에서의 학습 5 예제 6 데이터 [UNK] 라벨링 모델 비교 6. 1 데이터 [UNK] 라벨링을 위한 대표적 그래프 모델 3가지 6. 2 다른 방법에 비한 장점 6. 2. 1 특정 위치에서 입력에 대한 측정값 확신 6. 2. 2 라벨 편향 문제 해결 6. 2. 3 일련 데이터 라벨링 6. 3 다른 방법에 비한 한계점 6. 3. 1 라벨링된 트레이닝 데이터의 필요성 6. 3. 2 느린 트레이닝 알고리즘 6. 3. 3 보편적 사용의 어려움 7 활용 연구 사례 [ 6 ] 7. 1 자연언어 처리 7. 2 HCI 7. 3 컴퓨터 비전 7.
모델 ( 영어 : discriminative model ) 간선 ( 영어 : edge ) 방식 방향성 그래프 ( 영어 : directed graph ) 방향성 그래프 ( 영어 : directed graph ) 비방향성 그래프 ( 영어 : undirected graph ) 다른 방법에 비한 장점 [ 편집 ] 특정 위치에서 입력에 대한 측정값 확신 [ 편집 ] 은닉 마르코프 모델과는 달리, 조건부 무작위장은 특정 위치에서의 측정값을 확신할 수 있다. 이는 은닉 마르코프 모델은 생성 모델, 조건부 무작위장은 판별 모델에서 기인한 것에서 생겨난 차이다. [ 4 ] 라벨 편향 문제 해결 [ 편집 ] 최대 엔트로피 마르코프 모델이나 다른 마르코프 무작위장 모델, 즉, 방향성 그래프 모델로부터 발견될 수 있는 약점인 라벨 편향 문제를 피할 수 있다. 이는 조건부 무작위장이 비방향성 그래프 모델로 정의되기 때문이다. 일련 데이터 라벨링 [ 편집 ] 생물정보학, 전산언어학, 음성 인식 분야에서 일련된 데이터의 라벨링시, 은닉 마르코프 모델, 최대 엔트로피 마르코프 모델보다 좋은 성능을 기대할 수 있다. 다른 방법에 비한 한계점 [ 편집 ] 라벨링된 트레이닝 데이터의 필요성 [ 편집 ] 다른 방법들과 달리, 조건부 무작위장은 라벨링된 트레이닝 데이터가 필요하다. 느린 트레이닝 알고리즘 [ 편집 ] 마르코프 네트워크
링된 트레이닝 데이터의 필요성 6. 3. 2 느린 트레이닝 알고리즘 6. 3. 3 보편적 사용의 어려움 7 활용 연구 사례 [ 6 ] 7. 1 자연언어 처리 7. 2 HCI 7. 3 컴퓨터 비전 7. 4 생물정보학 8 소프트웨어 9 같이 보기 10 참고 문헌 11 외부 링크 소개 [ 편집 ] 다양한 과학적 분야에서 [UNK] 분할과 라벨링은 주요한 문제이다. 이러한 문제들의 해결 방법으로 은닉 마르코프 모델과 통계적 문법들 ( 영어 : stochastic grammars ) 이 적용되어왔으며 이들은 생물학이나 자연어 처리 등의 분야에서 매우 성공적인 결과를 도출하기도 하였다. 하지만 이들은 상호작용하는 여러 자질이 존재하는 경우, 혹은 관측값에서 긴범위의 의존성이 발견되는 경우, 이들 모델에 대한 추론이 다루기 힘든 ( 영어 : intractable ) 문제가 되어버린다는 단점이 있었다. 이에 반해 조건부 무작위장에서는 관측 값을 모델링 하는데에 걸리는 시간을 고정시킬 뿐 아니라 독립성에 대해서 매우 엄격한 가정을 요구하는 생성모델 ( 영어 : generative model ) 과 달리 레이블 [UNK] 조건부 확률은 관측 [UNK] 임의의 독립적이지 않은 기질들에 의존하는 것이 가능하다. 이런점들은 조건부 무작위장이 분할과 라벨링 문제
. 다른 방법에 비한 한계점 [ 편집 ] 라벨링된 트레이닝 데이터의 필요성 [ 편집 ] 다른 방법들과 달리, 조건부 무작위장은 라벨링된 트레이닝 데이터가 필요하다. 느린 트레이닝 알고리즘 [ 편집 ] 마르코프 네트워크 ( 영어 : Markov Random Field, MRF ) 보다 트레이닝 알고리즘의 시간 복잡도가 더 크다. 보편적 사용의 어려움 [ 편집 ] 일반적으로 규모에 제대로 적응하지 못한다. 특히, 내부 상태가 매우 많이 필요한 응용이거나 간선 ( 영어 : edge ) 연결이 매우 많은 그래프 구조일때 더욱 그렇다 [ 5 ] 활용 연구 사례 [ 6 ] [ 편집 ] 자연언어 처리 [ 편집 ] 화자 의도 예측 : 대화에서 화자의 의도를 통계적으로 예측하기 위한 모델로서 활용되기도 하는 한편, 문서의 범주화, 절인식 등의 구문분석에 이용되는 등 다양한 활용의 예를 찾아볼 수 있다. [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] 정보 추출 : 제목, 저자, 참고 문헌과 같은 데이터를 추출한다. [ 12 ] 단어 분리 : 중국어 말뭉치를 분할하여 단어 리스트를 얻는다. [ 13 ] 단어 정렬 : 언어 간의 단어 정렬 순서 모델의 오차율을 줄인다. [ 14 ] 명사구 청킹 ( 덩이짓기 ) : CoNLL - 2000 shared tast [ 15 ] 에서 제시한 명사
}, Y - { i }, X ) } 의 형태를 갖는 자질 함수들의 고정된 집합을 통해 정의된다. 이 함수는 입력 [UNK] 대해 각 Y i { [UNK] displaystyle Y - { i } } 값에 대한 가능도 ( 영어 : likelihood ) 를 어느 정도 결정할 수 있는 측정치로 간주될 수 있다. 이 모델은 각 자질에 대해 수치적 가중치를 부여하고 이를 조합함으로써 Y i { [UNK] displaystyle Y - { i } } 의 값에 대한 확률을 결정한다. 선형 체인 조건부 무작위장 ( 영어 : linear - chain CRFs ) 은 개념적으로 보다 단순한 은닉 마르코프 모델과 응용되는 문제가 비슷하다. 단, 입력, 출력 [UNK] 분포에 대한 가정을 어느 정도 완화하였다. 은닉 마르코프 모델은 상태 전이 ( 영어 : state transition ) 와 방출 ( 영어 : emission ) 을 모델링하기 위해 고정된 확률 ( 영어 : constant probability ) 을 사용하는 자질 함수만을 갖는 조건부 무작위장으로 생각될 수 있다. 반면, 조건부 무작위장은 은닉 마르코프 모델의 일반화된 모델로 생각될 수 있으며, 고정된 전이 확률 ( 영어 : transition probability ) 대신에 일련의 숨겨진 상태 ( 영어 : hidden state ) 들의 조직에 따라 달라지는
방향성이 있거나 없는 간선 ( 영어 : edge ) ( 영어 : edge ) 을 모두 가질 수 있으며 방향성 순환이 없는 그래프 ) 를 이용해 모델링된다. 관측된 변수들의 벡터 X { [UNK] displaystyle X } 의 입력 [UNK] 일련의 관측을 표현하며, Y { [UNK] displaystyle Y } 는 관측된 값이 주어졌을 때 추론되어야 할 숨겨진 변수 ( 영어 : hidden state variable or 영어 : unknown state variable ) 들을 나타낸다. Y i { [UNK] displaystyle Y - { i } } 는 Y i - 1 { [UNK] displaystyle Y - { i - 1 } } 과 Y i { [UNK] displaystyle Y - { i } } 사이에 간선 ( 영어 : edge ) 이 연결되는 연쇄적인 구조로 조직된다. 이러한 구조는 Y i { [UNK] displaystyle Y - { i } } 를 입력 [UNK] 각 입력에 대한 레이블 ( 영어 : label ) 로써 해석할 수 있는 간편함이 있으며, 이 외에도 이러한 구조를 사용함으로써 다음과 같은 작업들을 효율적으로 처리 할 수 있는 장점이 있다 : 모델 훈련 ( 영어 : model training ) : 트레이닝 데이터 뭉치 ( 영어 : corpus ) 에서부터 추출한 자질 함수
algorithm ) 과 비터비 알고리즘 ( 영어 : Viterbi algorithm ) 이 있다. 이 알고리즘들은 트리 구조의 그래프 모델을 위한 일반적 신뢰전파 알고리즘 ( 영어 : belief propagation algorithm ) 의 특수한 경우라고 할 수 있다 [ 3 ]. 만약 조건부 무작위장이 오직 쌍별 포텐셜 ( 영어 : pairwise potential ) 만을 포함하며, 에너지가 서브모듈러 ( 영어 : submodular ) 일 경우, 조합적 최소 컷 / 최대 흐름 알고리즘 ( 영어 : combinatorial min cut / max flow algorithm ) 을 이용해 정확한 결과를 구할 수 있다. 근사적 추론 방법 [ 편집 ] 위 두 경우 외에 보다 복잡한 모델, 즉 일반 그래프에서도 일부 상황에서는 정확한 추론이 효율적으로 될 수 있다. 이는 접합 트리 알고리즘 ( 영어 : junction tree algorithm ) 을 이용해 그래프 상에서 변수들을 군집화 하여 트리 형태로 만든 후, 트리 구조에서 작동하는 정확한 추론 알고리즘을 작동시킴으로써 가능하다. 하지만, 일부 복잡한 그래프에서는 접합 트리 알고리즘이 거대한 변수 클러스터를 생성하여 효율적인 추론을 불가능하게 한다. 즉 일반 그래프에서는 최악의 경우 정확한 추론 알고리즘을 이용하면
있다. [ 3 ] 몬테 카를로 방법은 치우침이 없는 ( 영어 : unbiased ) 대신 계산 시간이 언제 끝날지 알 수 없다는 단점이 있다. 변분 방법은 이에 비해 상당히 빠르지만 치우침이 있어 ( 영어 : biased ) 에러를 포함하며, 계산 시간을 늘리더라도 에러가 줄지 않는 단점이 있다. 파라미터 추정 과정에서 추론이 많은 회수 반복되기 때문에, 조건부 무작위장의 효율적인 학습을 위해서는 변분 방법이 더욱 선호된다. [ 3 ] 파라미터 학습 방법 [ 편집 ] 트리 구조에서의 학습 [ 편집 ] 만약 트리 기반 조건부 무작위장이라면, 파라미터 theta { [UNK] displaystyle [UNK] theta } 는 보통 p ( Y i | X i ; theta ) { [UNK] displaystyle p ( Y - { i } | X - { i } ; [UNK] theta ) } 에 대한 최대 가능도 학습 ( 영어 : maximum likelihood estimation ) 을 통해 얻어진다. 이를 통해, 학습 데이터의 확률값을 최대로 하는 theta { [UNK] displaystyle [UNK] theta } 를 구해낸다. 만약 모든 정점이 지수족 분포를 가지면서, 트레이닝 과정에서 관측 ( 영어 : observed ) 되었다면 가능도 함수는 볼록
나타났을 때, 문자 x, y, z 를 연속적으로 부여할 ( 나타날 ) 확률을 의미한다고 할 수 있다. 여기서 y는 마르코프 성질을 만족하여야 한다. 그런데 만약 x의 집합과 y의 집합이 한정되어 있다면, 이 구조는 그래프 구조를 형성하게 된다. 일반적으로는 체인 ( 영어 : chain ) 그래프 구조를 형성한다고 한다. [ 2 ] 수학적 정의 [ 편집 ] 조건부 무작위장 ( Y, X ) { [UNK] displaystyle ( Y, X ) } 는 방향이 없는 ( 영어 : undirected ) 그래프 G = ( V, E ) { [UNK] displaystyle G = ( V, E ) } 혹은 마르코프 무작위장으로 간주할 수 있다. 만약, 입력 [UNK] 조건부 독립을 가정할 수 있다면, 이론적으로 그래프의 구조는 여러 가지 형태를 나타낼 수 있다. 하지만 응용에서는 일반적으로 Y { [UNK] displaystyle Y } 에 해당되는 노드는 간단한 체인 ( 영어 : chain ) 의 형태를 나타내는 경우가 많다 [ 1 ]. 조건부 무작위장은 은닉 마르코프 모델 ( HMM, Hidden Markov Model ) 에 비하여 변수 독립성 조건이 필요 없는 장점이 있다고 한다. 또한 조건부 무작위장은 최대 엔트로피 마르코프 모델 ( MEMM, Maximum Entr
조건부 무작위장(영어: conditional random field 조건부 랜덤 필드[*])이란 통계적 모델링 방법중에 하나로, 패턴 인식과 기계 학습과 같은 구조적 예측에 사용된다. 일반적인 분류자(영어: classifier)가 이웃하는 표본을 고려하지 않고 단일 표본의 라벨을 예측하는 반면, 조건부 무작위장은 고려하여 예측한다. 자연 언어 처리 분야에서 자주 사용되는 선형 사슬 조건부 무작위장(영어: linear chain CRF)은 일련의 입력된 표본들에 대해 일련의 라벨들을 예측한다. 조건부 무작위장은 판별적 비방향성 그래프 모형의 한 형태이며, 관찰되는 것들의 알려진 관계를 암호화, 일관된 해석을 구성하는데 사용된다. 또, 자연언어로 된 글 또는 생물학적 서열 정보, 그리고 컴퓨터 비전 분야에서의 일련의 데이터에 대한 라벨 예측, 분석하는 데 사용되기도 한다. 구체적으로, 조건부 무작위장은 부분구문분석, 개체명 인식, 유전자 검색 등의 응용 분야에 사용될 수 있으며, 이러한 분야에서 은닉 마르코프 모델의 대안이 될 수 있다. 컴퓨터 비전 분야에서는 객체 인식, 이미지 분할에 종종 사용된다.