Then, the invention of the Transformer architecture [44] marks another milestone in the development of NLMs. By applying self-attention to compute in parallel for every word in a sentence or document an "attention score" to model the influence each word has on another, Transformers allow for much more parallelization than RNNs, which makes it possible to efficiently pre-train very big language models on large amounts of data on GPUs. These pre-trained language models (PLMs) can be fine-tuned for many downstream tasks.
그 후, Transformer 아키텍처[44]의 발명은 NLM 개발의 또 다른 이정표가 되었습니다. Transformer는 문장이나 문서의 모든 단어에 대해 병렬로 계산을 적용하여 각 단어가 다른 단어에 미치는 영향을 모델링하는 'attention score'를 계산함으로써 RNN보다 훨씬 더 많은 병렬화를 가능하게 하여 대량의 데이터에 대해 매우 큰 언어 모델을 GPU에서 효율적으로 사전 학습할 수 있게 해줍니다. 이렇게 사전 학습된 언어 모델(PLM)은 다양한 다운스트림 작업에 맞게 Fine-tuning할 수 있습니다.
그 후, 트랜스포머 아키텍처[44]의 발명은 NLM 개발의 또 다른 이정표가 되었습니다. 트랜스포머는 문장이나 문서의 모든 단어에 대해 병렬로 계산을 적용하여 각 단어가 다른 단어에 미치는 영향을 모델링하는 '주의 점수'를 계산함으로써 RNN보다 훨씬 더 많은 병렬화를 가능하게 하여 대량의 데이터에 대해 매우 큰 언어 모델을 GPU에서 효율적으로 사전 학습할 수 있게 해줍니다. 이렇게 사전 학습된 언어 모델(PLM)은 다양한 다운스트림 작업에 맞게 미세 조정할 수 있습니다.