- { k } f - { k } ( e, y | - { e }, x ) ( e, y | - { e }, x ) sum - { v in V, k } mu - { k } g - { k } ( v, y | - { v }, x ) ) } 여기서 x { displaystyle x } 는 입력, y { displaystyle y } 는 출력 레이블. y | s { displaystyle y | - { s } } 는 y { displaystyle y } 요소의 집합으로서 그래프 G { displaystyle G } 의 서브그래프 S { displaystyle S } 의 정점 ( 영어 : vertex ) 과 관계된다. f k { displaystyle f - { k } } 와 g k { displaystyle g - { k } } 는 주어져 있고 고정되어 있다고 가정한다. 위 수식을 다르게 해석할 수 있다. 수식에서 앞에 위치한 항목은 그래프에서 입력 의하여 현재의 정점 ( 영어 : vertex ) 에서 다음 정점 ( 영어 : vertex ) 으로 이동하는 천이 특징 함수 ( 영어 : transition feature function ) 로 간주할 수 있고, 뒤 항목은 현재의 정점 ( 영어 : v
, Fuchun, Fangfang Feng, and Andrew McCallum. " Chinese segmentation and new word detection using conditional random fields. " Proceedings of the 20th international conference on Computational Linguistics. Association for Computational Linguistics, 2004. ↑ Blunsom, Phil, and Trevor Cohn. " Discriminative word alignment with conditional random fields. " Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2006. ↑ E. F. Tjong Kim Sang and S. Buchholz. " Introduction to the CoNLL - 2000 shared task : Chunking ". In Proc. CoNLL - 2000, pages 127 - 132, 2000. ↑ Sha, Fei, and Fernando Pereira. " Shallow parsing with conditional random fields. " Proceedings
x ) { displaystyle { hat { y } } = operatorname { argmax - { y } } p ( y | x ) } 두 번째로, 파라미터를 추정할 때 각각의 간선 ( 영어 : edge ) p ( y t, y t - 1 | x ) { displaystyle p ( y - { t }, y - { t - 1 } | x ) } 와 정규화 함수 Z ( x ) { displaystyle Z ( x ) } 에 대한 주변분포 ( 영어 : marginal distribution ) 을 계산하는 것이다. 이 두 추론 문제는 근본적으로 같다고 볼 수 있다. [ 3 ] 정확한 추론 방법 [ 편집 ] 불행히도 앞에서 언급된 두 추론 문제는 일반 그래프에 대해서는 다루기 힘든 ( 영어 : intractable ) 문제이다. 추론을 정확하고 빠르게 할 수 있는 경우는 다음과 같은 경우만 가능하다 : 그래프가 선형 체인이거나 트리일 때, 추론 작업은 은닉 마르코프 모델을 위한 다양한 동적 계획법 알고리즘을 이용해 효율적으로 정확하게 수행 가능하다. 그런 알고리즘의 예로는 전향 - 후향 알고리즘 ( 영어 : forward - backward algorithm ) 과 비터비 알고리즘 ( 영어 : Viterbi algorith
2008 ) : 554 - 561. ↑ 김학수. " 능동학습법을 이용한 한국어 대화체 문장의 효율적 의미 구조 분석. " 정보과학회논문지 : 소프트웨어 및 응용 35. 5 ( 2008 ) : 306 - 312. ↑ 임석향, et al. " 언어 모델을 이용한 유해 문서 분류. " 한국정보과학회 학술발표논문집 36. 1C ( 2009 ) : 301 - 304. ↑ 배원식, and 차정원. " TextRank 알고리즘을 이용한 문서 범주화. " 정보과학회논문지 : 컴퓨팅의 실제 및 레터 16. 1 ( 2010 ) : 110 - 114. ↑ 정헌영, et al. " 의견의 주체를 찾기 위한 후보어휘의 의견주체점수 부여 방법과 Self - training. " 한국정보과학회 학술발표논문집 36. 1C ( 2009 ) : 341 - 345. ↑ Peng, Fuchun, and Andrew McCallum. " Information extraction from research papers using conditional random fields. " Information processing & management 42. 4 ( 2006 ) : 963 - 979. ↑ Peng, Fuchun, Fangfang Feng, and Andrew McCallum. " Chinese segmentation
##의 일련의 데이터에 대한 라벨 예측, 분석하는 데 사용되기도 한다. 구체적으로, 조건부 무작위장은 부분구문분석, 개체명 인식, 유전자 검색 등의 응용 분야에 사용될 수 있으며, 이러한 분야에서 은닉 마르코프 모델의 대안이 될 수 있다. 컴퓨터 비전 분야에서는 객체 인식, 이미지 분할에 종종 사용된다. 목차 1 소개 2 수학적 정의 3 추론 방법 3. 1 정확한 추론 방법 3. 2 근사적 추론 방법 4 파라미터 학습 방법 4. 1 트리 구조에서의 학습 4. 2 일반 그래프에서의 학습 5 예제 6 데이터 라벨링 모델 비교 6. 1 데이터 라벨링을 위한 대표적 그래프 모델 3가지 6. 2 다른 방법에 비한 장점 6. 2. 1 특정 위치에서 입력에 대한 측정값 확신 6. 2. 2 라벨 편향 문제 해결 6. 2. 3 일련 데이터 라벨링 6. 3 다른 방법에 비한 한계점 6. 3. 1 라벨링된 트레이닝 데이터의 필요성 6. 3. 2 느린 트레이닝 알고리즘 6. 3. 3 보편적 사용의 어려움 7 활용 연구 사례 [ 6 ] 7. 1 자연언어 처리 7. 2 HCI 7. 3 컴퓨터 비전 7. 4 생물정보학 8 소프트웨어 9 같이 보기 10 참고 문헌 11 외부 링크 소개 [ 편집 ] 다양한 과학적 분야에서 분할과 라벨링은 주요한 문제이다. 이러한
##기 10 참고 문헌 11 외부 링크 소개 [ 편집 ] 다양한 과학적 분야에서 분할과 라벨링은 주요한 문제이다. 이러한 문제들의 해결 방법으로 은닉 마르코프 모델과 통계적 문법들 ( 영어 : stochastic grammars ) 이 적용되어왔으며 이들은 생물학이나 자연어 처리 등의 분야에서 매우 성공적인 결과를 도출하기도 하였다. 하지만 이들은 상호작용하는 여러 자질이 존재하는 경우, 혹은 관측값에서 긴범위의 의존성이 발견되는 경우, 이들 모델에 대한 추론이 다루기 힘든 ( 영어 : intractable ) 문제가 되어버린다는 단점이 있었다. 이에 반해 조건부 무작위장에서는 관측 값을 모델링 하는데에 걸리는 시간을 고정시킬 뿐 아니라 독립성에 대해서 매우 엄격한 가정을 요구하는 생성모델 ( 영어 : generative model ) 과 달리 레이블 조건부 확률은 관측 임의의 독립적이지 않은 기질들에 의존하는 것이 가능하다. 이런점들은 조건부 무작위장이 분할과 라벨링 문제에 새로이 제안되게 하는 동기로 작용하였다. [ 1 ] 조건부 무작위장을 간단하게 설명하면 입력 대한 출력 조건부 확률이라고 할 수 있다. 수학적인 표현을 사용하여 매우 간단하게 표시하면 다음과 같이 할 수 있다
} sum - { k = 1 } ^ { K } { theta } - { k } f - { k } ( y - { t } ^ { ( i ) ( i ) }, y - { t - 1 } ^ { ( i ) }, mathbf { x } - { t } ^ { ( i ) } ) - sum - { i = 1 } ^ { N } log Z ( mathbf { x } ^ { ( i ) ( i ) } ) - alpha sum - { i = 1 } ^ { N } | theta - { k } | } 유클리디안 놈을 이용한 가능도 함수에 편미분을 하여 기울기를 구하면 다음과 같다 [ 3 ] : ℓ theta k = i = 1 N t = 1 T f k ( y t ( i ) ( i ), y t - 1 ( t ), x t ( t ) ) - i = 1 N t = 1 T y, y f k ( y, y, x t ( i ) ( i ) ) p ( y, y | x ( i ) ( i ) ) - theta k 2 { displaystyle { { partial ell } over { partial the
특징 함수 ( 영어 : transition feature function ) 로 간주할 수 있고, 뒤 항목은 현재의 정점 ( 영어 : vertex ) 의 상태 특징 함수 ( 영어 : state feature function ) 로 간주할 수 있다. 즉, 위 식은 입력되는 요소들에 의하여 현재의 정점 ( 영어 : vertex ) 에 그대로 존재하는 경우를 나타내기도 하고, 또는 다음 정점 ( 영어 : vertex ) 으로 이동하는 것을 나타내기도 한다. 전체적으로는 입력되는 의하여 그래프의 정점 ( 영어 : vertex ) 상에서 움직이는 상태와 이와 관련된 확률을 나타낸다. Y { displaystyle Y } 가 체인 ( 영어 : chain ) 을 구성하고 있다고 가정하면, 조건부 무작위장 확률을 다음과 같이 표현할 수도 있다. p theta ( y | x ) = i = 1 n 1 M i ( y i - 1, y i | x i ) i = 1 n 1 M i ( x ) ) b e g i n, s t o p { displaystyle p - { theta } ( y | x ) = { prod - { i = 1 } ^ { n1 } M - { i } ( y - { i - 1 }, y - { i } | x - { i } )
그래프에서는 접합 트리 알고리즘이 거대한 변수 클러스터를 생성하여 효율적인 추론을 불가능하게 한다. 즉 일반 그래프에서는 최악의 경우 정확한 추론 알고리즘을 이용하면 지수적 시간 ( 영어 : exponential time ) 이 소요된다. [ 3 ] 이런 이유 때문에, 효율적 추론을 위해 일반적 그래프에서는 정확한 추론 알고리즘 보다는 근사적 추론 알고리즘이 필요하다. 주로 다음과 같이 두 종류의 근사 추론 알고리즘이 사용된다 [ 3 ] : 몬테 카를로 알고리즘 ( 영어 : Monte Carlo algorithm ) : 확률적 알고리즘으로, 관심이 있는 분포의 샘플을 근사적으로 생성해낸다. 대표적인 예로는 기브스 표집 알고리즘 ( 영어 : Gibbs sampling algorithm ) 이 있다. [ 3 ] 변분 알고리즘 ( 영어 : variational algorithm ) : 다루기 힘든 분포와 가장 근사하며 간단한 분포를 찾아내어 푸는 방법으로, 추론 문제를 최적화 문제로 바꾸어 푼다. 대표적인 예로는 신뢰전파 알고리즘이 있다. [ 3 ] 몬테 카를로 방법은 치우침이 없는 ( 영어 : unbiased ) 대신 계산 시간이 언제 끝날지 알 수 없다는 단점이 있다. 변분 방법은 이에 비해 상당히 빠르지만 치우침이 있어 ( 영어 : biase
나 이호석. " 조건부 랜덤 필드와 응용에 대한 고찰. " 한국정보과학회 학술발표논문집 36. 2C ( 2009 ) : 184 - 187. ↑ 가 나 다 라 마 바 사 아 자 차 카 타 파 Sutton, C., & McCallum, A. ( 2011 ). An introduction to conditional random fields. Machine Learning, 4 ( 4 ), 267 - 373. ↑ " What Are Conditional Random Fields ", Perpetual Enigma, ↑ Cohn, Trevor. " Efficient inference in large conditional random fields. " Machine Learning : ECML 2006. Springer Berlin Heidelberg, 2006. 606 - 613. ↑ Murphy, Kevin P. Machine learning : a probabilistic perspective. MIT press, 2012. ↑ 김동현, 김학수, and 서정연. " 목적지향 대화에서 화자 의도의 통계적 예측 모델. " 정보과학회논문지 : 소프트웨어 및 응용 35. 9 ( 2008 ) : 554 - 561. ↑ 김학수. " 능동학습법을 이용한 한국어 대화체 문장의 효율적 의미 구조 분석.
조건부 무작위장(영어: conditional random field 조건부 랜덤 필드[*])이란 통계적 모델링 방법중에 하나로, 패턴 인식과 기계 학습과 같은 구조적 예측에 사용된다. 일반적인 분류자(영어: classifier)가 이웃하는 표본을 고려하지 않고 단일 표본의 라벨을 예측하는 반면, 조건부 무작위장은 고려하여 예측한다. 자연 언어 처리 분야에서 자주 사용되는 선형 사슬 조건부 무작위장(영어: linear chain CRF)은 일련의 입력된 표본들에 대해 일련의 라벨들을 예측한다. 조건부 무작위장은 판별적 비방향성 그래프 모형의 한 형태이며, 관찰되는 것들의 알려진 관계를 암호화, 일관된 해석을 구성하는데 사용된다. 또, 자연언어로 된 글 또는 생물학적 서열 정보, 그리고 컴퓨터 비전 분야에서의 일련의 데이터에 대한 라벨 예측, 분석하는 데 사용되기도 한다. 구체적으로, 조건부 무작위장은 부분구문분석, 개체명 인식, 유전자 검색 등의 응용 분야에 사용될 수 있으며, 이러한 분야에서 은닉 마르코프 모델의 대안이 될 수 있다. 컴퓨터 비전 분야에서는 객체 인식, 이미지 분할에 종종 사용된다.