\(\bullet\)_Statistical language models (SLM)_. SLMs [6, 7, 8, 9] are developed based on _statistical learning_ methods that rose in the 1990s. The basic idea is to build the word prediction model based on the Markov assumption, _e.g.,_ predicting the next word based on the most recent context. The SLMs with a fixed context length \(n\) are also called \(n\)-gram language models, _e.g.,_ bigram and trigram language models. SLMs have been widely applied to enhance task performance in information retrieval (IR) [10, 11] and natural language processing (NLP) [12, 13, 14]. However, they often suffer from the curse of dimensionality: it is difficult to accurately estimate high-order language models since an exponential number of transition probabilities need to be estimated. Thus, specially designed smoothing strategies such as back-off estimation [15] and Good-Turing estimation [16] have been introduced to alleviate the data sparsity problem.
\(\bullet\)_통계 언어 모델(SLM)_. SLM [6, 7, 8, 9]은 1990년대에 등장한 _statistical learning_ 방법을 기반으로 개발되었습니다. 기본 아이디어는 마르코프 가정을 기반으로 단어 예측 모델을 구축하는 것으로, _예를 들어_ 가장 최근의 문맥을 기반으로 다음 단어를 예측하는 것입니다. 문맥 길이가 고정된 SLM은 n-그램 언어 모델이라고도 하는데, _예를 들어_ 바이그램 및 트라이그램 언어 모델이 있습니다. SLM은 정보 검색(IR) [10, 11] 및 자연어 처리(NLP) [12, 13, 14]에서 작업 성능을 향상시키는 데 널리 적용되었습니다. 그러나 차원의 저주를 겪는 경우가 많습니다. 기하급수적인 수의 전이 확률을 추정해야 하기 때문에 고차 언어 모델을 정확하게 추정하기가 어렵습니다. 따라서 데이터 희소성 문제를 완화하기 위해 백오프 추정 [15] 및 굿-튜링 추정 [16]과 같은 특별히 설계된 평활화 전략이 도입되었습니다.
\(\bullet\)_통계 언어 모델(SLM)_. SLM [6, 7, 8, 9]은 1990년대에 등장한 _통계 학습_ 방법을 기반으로 개발되었습니다. 기본 아이디어는 마르코프 가정을 기반으로 단어 예측 모델을 구축하는 것으로, _예를 들어_ 가장 최근의 문맥을 기반으로 다음 단어를 예측하는 것입니다. 문맥 길이가 고정된 SLM은 n-그램 언어 모델이라고도 하는데, _예를 들어_ 바이그램 및 트라이그램 언어 모델이 있습니다. SLM은 정보 검색(IR) [10, 11] 및 자연어 처리(NLP) [12, 13, 14]에서 작업 성능을 향상시키는 데 널리 적용되었습니다. 그러나 차원의 저주를 겪는 경우가 많습니다. 기하급수적인 수의 전이 확률을 추정해야 하기 때문에 고차 언어 모델을 정확하게 추정하기가 어렵습니다. 따라서 데이터 희소성 문제를 완화하기 위해 백오프 추정 [15] 및 굿-튜링 추정 [16]과 같은 특별히 설계된 평활화 전략이 도입되었습니다.