Language modeling is a long-standing research topic, dating back to the 1950s with Shannon's application of information theory to human language, where he measured how well simple n-gram language models predict or compress natural language text [3]. Since then, statistical language modeling became fundamental to many natural language understanding and generation tasks, ranging from speech recognition, machine translation, to information retrieval [4, 5, 6].
언어 모델링은 오랜 연구 주제로, 1950년대에 Shannon이 정보 이론을 인간 언어에 적용하면서 시작되었습니다. 그는 간단한 n-그램 언어 모델이 자연어 텍스트를 얼마나 잘 예측하거나 압축하는지를 측정했습니다 [3]. 그 이후로 통계적 언어 모델링은 음성 인식, 기계 번역, 정보 검색 등 다양한 자연어 이해 및 생성 작업의 기본이 되었습니다 [4, 5, 6].
언어 모델링은 1950년대 섀넌이 정보 이론을 인간 언어에 적용하여 단순한 n-그램 언어 모델이 자연어 텍스트를 얼마나 잘 예측하거나 압축하는지를 측정한 것으로 거슬러 올라가는 오랜 연구 주제입니다[3]. 그 이후로 통계 언어 모델링은 음성 인식, 기계 번역, 정보 검색 등 다양한 자연어 이해 및 생성 작업의 기초가 되었습니다[4, 5, 6].