Statistical language models (SLMs) view text as a sequence of words, and estimate the probability of text as the product of their word probabilities. The dominating form of SLMs are Markov chain models known as the n-gram models, which compute the probability of a word conditioned on its immediate proceeding \(n-1\) words. Since word probabilities are estimated using word and n-gram counts collected from text corpora, the model needs to deal with data sparsity (i.e., assigning zero probabilities to unseen words or n-grams) by using _smoothing_, where some probability mass of the model is reserved for unseen n-grams [12]. N-gram models are widely used in many NLP systems. However, these models are incomplete in that they cannot fully capture the diversity and variability of natural language due to data sparsity.
통계 언어 모델(SLM)은 텍스트를 일련의 단어로 간주하고, 단어 확률의 곱으로 텍스트의 확률을 추정합니다. SLM의 주요 형태는 n-gram 모델로 알려진 마르코프 체인 모델로, 단어의 확률을 바로 앞선 \(n-1\) 단어에 조건을 붙여 계산합니다. 단어 확률은 텍스트 말뭉치에서 수집한 단어 및 n-gram 수를 사용하여 추정되므로, 모델은 보이지 않는 단어 또는 n-gram에 0 확률을 할당하는 데이터 희소성 문제를 _smoothing_을 사용하여 처리해야 합니다. _smoothing_을 사용하여 모델의 일부 확률 질량을 보이지 않는 n-gram에 예약합니다[12]. n-gram 모델은 많은 NLP 시스템에서 널리 사용됩니다. 그러나 이러한 모델은 데이터 희소성으로 인해 자연어의 다양성과 가변성을 완전히 포착할 수 없는 불완전한 모델입니다.
통계 언어 모델(SLM)은 텍스트를 일련의 단어로 간주하고, 단어 확률의 곱으로 텍스트의 확률을 추정합니다. SLM의 주요 형태는 n-그램 모델로 알려진 마르코프 체인 모델로, 단어의 확률을 바로 앞선 \(n-1\) 단어에 조건을 붙여 계산합니다. 단어 확률은 텍스트 말뭉치에서 수집한 단어 및 n-그램 수를 사용하여 추정되므로, 모델은 보이지 않는 단어 또는 n-그램에 0 확률을 할당하는 데이터 희소성 문제를 _평활화_를 사용하여 처리해야 합니다. 평활화_를 사용하여 모델의 일부 확률 질량을 보이지 않는 n-그램에 예약합니다[12]. N-그램 모델은 많은 NLP 시스템에서 널리 사용됩니다. 그러나 이러한 모델은 데이터 희소성으로 인해 자연어의 다양성과 가변성을 완전히 포착할 수 없는 불완전한 모델입니다.