Language modeling using neural networks was pioneered by [38, 39, 40]. Bengio et al. [13] developed one of the first neural language models (NLMs) that are comparable to n-gram models. Then, [14] successfully applied NLMs to machine translation. The release of RNNLM (an open source NLM toolkit) by Mikolov [41, 42] helped significantly popularize NLMs. Afterwards, NLMs based on recurrent neural networks (RNNs) and their variants, such as long short-term memory (LSTM) [19] and gated recurrent unit (GRU) [20], were widely used for many natural language applications including machine translation, text generation and text classification [43].
신경망을 이용한 언어 모델링은 [38, 39, 40]에 의해 개척되었습니다. Bengio 등[13]은 n-그램 모델과 비슷한 최초의 신경 언어 모델(NLM) 중 하나를 개발했습니다. 그 후 [14]는 기계 번역에 NLM을 성공적으로 적용했습니다. Mikolov[41, 42]이 RNNLM(오픈 소스 NLM 툴킷)을 출시하면서 NLM이 크게 대중화되었습니다. 그 후, Recurrent Neural Networks (RNNs)과 그 변형인 Long Short-Term Memory (LSTM)[19] 및 Gated Recurrent Unit (GRU)[20]을 기반으로 하는 NLM이 기계 번역, 텍스트 생성 및 텍스트 분류[43]를 포함한 많은 자연어 애플리케이션에 널리 사용되었습니다.
신경망을 이용한 언어 모델링은 [38, 39, 40]에 의해 개척되었습니다. Bengio 등[13]은 n-그램 모델과 비슷한 최초의 신경 언어 모델(NLM) 중 하나를 개발했습니다. 그 후 [14]는 기계 번역에 NLM을 성공적으로 적용했습니다. Mikolov[41, 42]이 RNNLM(오픈 소스 NLM 툴킷)을 출시하면서 NLM이 크게 대중화되었습니다. 그 후, 순환 신경망(RNN)과 그 변형인 장단기 메모리(LSTM)[19] 및 게이트 순환 유닛(GRU)[20]을 기반으로 하는 NLM이 기계 번역, 텍스트 생성 및 텍스트 분류[43]를 포함한 많은 자연어 애플리케이션에 널리 사용되었습니다.