\(\bullet\)_Pre-trained language models (PLM)_. As an early attempt, ELMo [21] was proposed to capture context-aware word representations by first pre-training a bidirectional LSTM (biLSTM) network (instead of learning fixed word representations) and then fine-tuning the biLSTM network according to specific downstream tasks. Furthermore, based on the highly parallelizable Transformer architecture [22] with self-attention mechanisms, BERT [23] was proposed by pre-training bidirectional language models with specially designed pre-training tasks on large-scale unlabeled corpora. These pre-trained context-aware word representations are very effective as general-purpose semantic features, which have largely raised the performance bar of NLP tasks. This study has inspired a large number of follow-up work, which sets the _"pre-training"_ and _fine-tuning"_ learning paradigm. Following this paradigm, a great number of studies on PLMs have been developed, introducing either different architectures [24, 25] (_e.g._, GPT-2 [26] and BART [24]) or improved pre-training strategies [27, 28, 29]. In this paradigm, it often requires fine-tuning the PLM for adapting to different downstream tasks.
\(\bullet\)_Pre-trained language models (PLM)_. 초기 시도로서, ELMo [21]는 먼저 양방향 LSTM(biLSTM) 네트워크를 사전 학습한 다음(고정된 단어 표현을 학습하는 대신) 특정 다운스트림 작업에 따라 biLSTM 네트워크를 Fine-tuning하여 컨텍스트 인식 단어 표현을 캡처하기 위해 제안되었습니다. 또한, self-attention 메커니즘을 갖춘 고도로 병렬화 가능한 Transformer 아키텍처 [22]를 기반으로, BERT [23]는 대규모 미분류 말뭉치에서 특별히 설계된 사전 학습 작업을 통해 양방향 언어 모델을 사전 학습하는 방식으로 제안되었습니다. 이렇게 사전 학습된 컨텍스트 인식 단어 표현은 범용 의미론적 특징으로서 매우 효과적이며, 이는 NLP 작업의 성능 기준을 크게 높였습니다. 이 연구는 _"pre-training"_과 _Fine-tuning"_ 학습 패러다임을 설정한 수많은 후속 연구에 영감을 주었습니다. 이 패러다임에 따라 다양한 아키텍처 [24, 25](_예: GPT-2 [26] 및 BART [24]) 또는 개선된 사전 학습 전략 [27, 28, 29]을 도입하는 PLM에 대한 많은 연구가 개발되었습니다. 이 패러다임에서는 다양한 다운스트림 작업에 적응하기 위해 PLM을 Fine-tuning해야 하는 경우가 많습니다.
\(\bullet\)_사전 학습된 언어 모델(PLM)_. 초기 시도로서, ELMo [21]는 먼저 양방향 LSTM(biLSTM) 네트워크를 사전 학습한 다음(고정된 단어 표현을 학습하는 대신) 특정 다운스트림 작업에 따라 biLSTM 네트워크를 미세 조정하여 컨텍스트 인식 단어 표현을 캡처하기 위해 제안되었습니다. 또한, 자기 주의 메커니즘을 갖춘 고도로 병렬화 가능한 트랜스포머 아키텍처 [22]를 기반으로, BERT [23]는 대규모 미분류 말뭉치에서 특별히 설계된 사전 학습 작업을 통해 양방향 언어 모델을 사전 학습하는 방식으로 제안되었습니다. 이렇게 사전 학습된 컨텍스트 인식 단어 표현은 범용 의미론적 특징으로서 매우 효과적이며, 이는 NLP 작업의 성능 기준을 크게 높였습니다. 이 연구는 _"사전 학습"_과 _미세 조정"_ 학습 패러다임을 설정한 수많은 후속 연구에 영감을 주었습니다. 이 패러다임에 따라 다양한 아키텍처 [24, 25](_예: GPT-2 [26] 및 BART [24]) 또는 개선된 사전 학습 전략 [27, 28, 29]을 도입하는 PLM에 대한 많은 연구가 개발되었습니다. 이 패러다임에서는 다양한 다운스트림 작업에 적응하기 위해 PLM을 미세 조정해야 하는 경우가 많습니다.