Figure 4: **The pipeline of Selective Language Modeling (SLM).** SLM optimizes language model performance by concentrating on valuable, clean tokens during pre-training. It involves three steps: (Step 1) Initially, train a reference model on high-quality data. (Step 2) Then, score each token’s loss in a corpus using the reference model. (Step 3) Finally, train the language model selectively on tokens that show higher excess loss compared to the reference loss.
그림 4: **선택적 언어 모델링(SLM)의 파이프라인.** SLM은 사전 학습 중에 가치 있고 깨끗한 토큰에 집중하여 language model 성능을 최적화합니다. 세 단계로 구성됩니다: (1단계) 먼저 고품질 데이터에 대한 reference model을 훈련합니다. (2단계) 그런 다음 reference model을 사용하여 말뭉치에서 각 토큰의 loss를 평가합니다. (3단계) 마지막으로, reference loss와 비교하여 더 높은 초과 loss를 보이는 토큰에 대해 language model을 선택적으로 훈련합니다.
그림 4: **선택적 언어 모델링(SLM)의 파이프라인.** SLM은 사전 학습 중에 가치 있고 깨끗한 토큰에 집중하여 언어 모델 성능을 최적화합니다. 세 단계로 구성됩니다: (1단계) 먼저 고품질 데이터에 대한 기준 모델을 훈련합니다. (2단계) 그런 다음 참조 모델을 사용하여 말뭉치에서 각 토큰의 손실을 평가합니다. (3단계) 마지막으로, 참조 손실과 비교하여 더 높은 초과 손실을 보이는 토큰에 대해 언어 모델을 선택적으로 훈련합니다.