Figure 2: **Upper:** Even an extensively filtered pretraining corpus contains token-level noise. **Left:** Previous Causal Language Modeling (CLM) trains on all tokens. **Right:** Our proposed Selective Language Modeling (SLM) selectively applies loss on those useful and clean tokens.
그림 2: **위쪽:** 광범위하게 필터링된 사전 학습 말뭉치에도 토큰 수준의 노이즈가 포함되어 있습니다. **왼쪽:** 기존 Causal Language Modeling (CLM)은 모든 토큰에 대해 학습합니다. **오른쪽:** 제안된 Selective Language Modeling (SLM)은 유용하고 깨끗한 토큰에만 선택적으로 Loss를 적용합니다.
그림 2: **위쪽:** 광범위하게 필터링된 사전 학습 말뭉치에도 토큰 수준의 노이즈가 포함되어 있습니다. **왼쪽:** 기존 인과적 언어 모델링(CLM)은 모든 토큰에 대해 학습합니다. **오른쪽:** 제안된 선택적 언어 모델링(SLM)은 유용하고 깨끗한 토큰에만 선택적으로 손실을 적용합니다.