Early neural language models (NLMs) [13, 14, 15, 16] deal with data sparsity by mapping words to low-dimensional continuous vectors (embedding vectors) and predict the next word based on the aggregation of the embedding vectors of its proceeding words using neural networks. The embedding vectors learned by NLMs define a hidden space where the semantic similarity between vectors can be readily computed as their distance. This opens the door to computing semantic similarity of any two inputs regardless their forms (e.g., queries vs. documents in Web search [17, 18], sentences in different languages in machine translation [19, 20]) or modalities (e.g., image and text in image captioning [21, 22]). Early NLMs are task-specific models, in that they are trained on task-specific data and their learned hidden space is task-specific.
초기 신경 언어 모델(NLM) [13, 14, 15, 16]은 단어를 저차원 연속 벡터(embedding 벡터)에 매핑하고 신경망을 사용하여 앞서온 단어의 embedding 벡터를 집계하여 다음 단어를 예측함으로써 데이터 희소성을 처리합니다. NLM에 의해 학습된 embedding 벡터는 벡터 간의 의미적 유사성을 거리로 쉽게 계산할 수 있는 숨겨진 공간을 정의합니다. 이를 통해 형식(예: 웹 검색의 쿼리와 문서[17, 18], 기계 번역의 다른 언어 문장[19, 20])이나 방식(예: 이미지 캡션[21, 22]의 이미지와 텍스트)에 관계없이 두 입력의 의미적 유사성을 계산할 수 있습니다. 초기 NLM은 작업별 데이터로 학습되고 학습된 숨겨진 공간이 작업별이기 때문에 작업별 모델입니다.
초기 신경 언어 모델(NLM) [13, 14, 15, 16]은 단어를 저차원 연속 벡터(임베딩 벡터)에 매핑하고 신경망을 사용하여 앞서온 단어의 임베딩 벡터를 집계하여 다음 단어를 예측함으로써 데이터 희소성을 처리합니다. NLM에 의해 학습된 임베딩 벡터는 벡터 간의 의미적 유사성을 거리로 쉽게 계산할 수 있는 숨겨진 공간을 정의합니다. 이를 통해 형식(예: 웹 검색의 쿼리와 문서[17, 18], 기계 번역의 다른 언어 문장[19, 20])이나 방식(예: 이미지 캡션[21, 22]의 이미지와 텍스트)에 관계없이 두 입력의 의미적 유사성을 계산할 수 있습니다. 초기 NLM은 작업별 데이터로 학습되고 학습된 숨겨진 공간이 작업별이기 때문에 작업별 모델입니다.