Pre-trained language models (PLMs), unlike early NLMs, are task-agnostic. This generality also extends to the learned hidden embedding space. The training and inference of PLMs follows the _pre-training and fine-tuning_ paradigm, where language models with recurrent neural networks [23] or transformers [24, 25, 26] are pre-trained on Web-scale unlabeled text corpora for general tasks such as word prediction, and then finetuned to specific tasks using small amounts of (labeled) task-specific data. Recent surveys on PLMs include [8, 27, 28].
사전 학습된 언어 모델(PLM)은 초기 NLM과 달리 작업에 구애받지 않습니다. 이러한 일반성은 학습된 숨겨진 임베딩 공간에도 적용됩니다. PLM의 훈련과 추론은 _pre-training과 Fine-tuning_ 패러다임을 따르는데, 순환 신경망[23] 또는 Transformers[24, 25, 26]를 사용하는 언어 모델을 단어 예측과 같은 일반적인 작업을 위해 웹 스케일의 라벨이 없는 텍스트 코퍼라에 대해 사전 훈련한 다음 소량의 (라벨이 지정된) 작업별 데이터를 사용하여 특정 작업에 맞게 Fine-tuning합니다. PLM에 대한 최근 설문조사는 [8, 27, 28]을 참조하세요.
사전 학습된 언어 모델(PLM)은 초기 NLM과 달리 작업에 구애받지 않습니다. 이러한 일반성은 학습된 숨겨진 임베딩 공간에도 적용됩니다. PLM의 훈련과 추론은 _사전 훈련과 미세 조정_ 패러다임을 따르는데, 순환 신경망[23] 또는 트랜스포머[24, 25, 26]를 사용하는 언어 모델을 단어 예측과 같은 일반적인 작업을 위해 웹 스케일의 라벨이 없는 텍스트 코퍼라에 대해 사전 훈련한 다음 소량의 (라벨이 지정된) 작업별 데이터를 사용하여 특정 작업에 맞게 미세 조정합니다. PLM에 대한 최근 설문조사는 [8, 27, 28]을 참조하세요.