Pre-training is the very first step in large language model training pipeline, and it helps LLMs to acquire fundamental language understanding capabilities, which can be useful in a wide range of language related tasks. During pre-training, the LLM is trained on a massive amount of (usually) unlabeled texts, usually in a self-supervised manner. There are different approaches used for pre-training like next sentence prediction [24], two most common ones include, next token prediction (autoregressive language modeling), and masked language modeling.
사전 학습은 대규모 언어 모델 학습 파이프라인의 첫 번째 단계로, LLM이 광범위한 언어 관련 작업에서 유용하게 사용할 수 있는 기본적인 언어 이해 기능을 습득하는 데 도움이 됩니다. 사전 학습 중에 LLM은 대량의 (일반적으로) 레이블이 없는 텍스트에 대해 학습하며, 일반적으로 self-supervised 방식으로 학습합니다. 사전 학습에는 다음 문장 예측[24]과 같은 다양한 접근 방식이 사용되며, 가장 일반적인 두 가지 접근 방식은 다음 토큰 예측(autoregressive language modeling)과 masked language modeling입니다.
사전 학습은 대규모 언어 모델 학습 파이프라인의 첫 번째 단계로, LLM이 광범위한 언어 관련 작업에서 유용하게 사용할 수 있는 기본적인 언어 이해 기능을 습득하는 데 도움이 됩니다. 사전 학습 중에 LLM은 대량의 (일반적으로) 레이블이 없는 텍스트에 대해 학습하며, 일반적으로 자가 지도 방식으로 학습합니다. 사전 학습에는 다음 문장 예측[24]과 같은 다양한 접근 방식이 사용되며, 가장 일반적인 두 가지 접근 방식은 다음 토큰 예측(자동 회귀 언어 모델링)과 마스킹된 언어 모델링입니다.