\(\bullet\)_Neural language models (NLM)_. NLMs [17, 18, 1] characterize the probability of word sequences by neural networks, _e.g.,_ multi-layer perceptron (MLP) and recurrent neural networks (RNNs). As a remarkable contribution, the work in [1] introduced the concept of _distributed representation_ of words and built the word prediction function conditioned on the aggregated context features (_i.e.,_ the distributed word vectors). By extending the idea of learning effective features for text data, a general neural network approachwas developed to build a unified, end-to-end solution for various NLP tasks [2]. Furthermore, word2vec [19, 20] was proposed to build a simplified shallow neural network for learning distributed word representations, which were demonstrated to be very effective across a variety of NLP tasks. These studies have initiated the use of language models for representation learning (beyond word sequence modeling), having an important impact on the field of NLP.
\(\bullet\)_Neural language models (NLM)_. NLM [17, 18, 1]은 신경망, _예를 들어_ multi-layer perceptron (MLP) 및 recurrent neural networks (RNN)으로 단어 시퀀스의 확률을 특성화합니다. [1]의 연구는 단어의 _distributed representation_ 개념을 도입하고 단어 벡터를 집계한 컨텍스트 특징(_즉, distributed word vectors)에 조건을 붙인 단어 예측 함수를 구축한 것으로 주목할 만한 공헌을 했습니다. 텍스트 데이터에 대한 효과적인 특징 학습 아이디어를 확장하여 다양한 NLP 작업을 위한 통합된 end-to-end 솔루션을 구축하기 위한 일반적인 신경망 접근 방식이 개발되었습니다[2]. 또한, word2vec [19, 20]은 distributed word representations을 학습하기 위한 단순화된 얕은 신경망을 구축하기 위해 제안되었으며, 이는 다양한 NLP 작업에서 매우 효과적인 것으로 입증되었습니다. 이러한 연구는 (단어 시퀀스 모델링을 넘어) representation learning을 위한 언어 모델의 사용을 시작했으며, NLP 분야에 중요한 영향을 미쳤습니다.
\(\bullet\)_신경 언어 모델(NLM)_. NLM [17, 18, 1]은 신경망, _예를 들어_ 다층 퍼셉트론(MLP) 및 순환 신경망(RNN)으로 단어 시퀀스의 확률을 특성화합니다. [1]의 연구는 단어의 _분산 표현_ 개념을 도입하고 단어 벡터를 집계한 컨텍스트 특징(_즉, 분산된 단어 벡터)에 조건을 붙인 단어 예측 함수를 구축한 것으로 주목할 만한 공헌을 했습니다. 텍스트 데이터에 대한 효과적인 특징 학습 아이디어를 확장하여 다양한 NLP 작업을 위한 통합된 엔드투엔드 솔루션을 구축하기 위한 일반적인 신경망 접근 방식이 개발되었습니다[2]. 또한, 단어2vec [19, 20]은 분산된 단어 표현을 학습하기 위한 단순화된 얕은 신경망을 구축하기 위해 제안되었으며, 이는 다양한 NLP 작업에서 매우 효과적인 것으로 입증되었습니다. 이러한 연구는 (단어 시퀀스 모델링을 넘어) 표현 학습을 위한 언어 모델의 사용을 시작했으며, NLP 분야에 중요한 영향을 미쳤습니다.