To explore how language models learn at the token level, we initially examined training dynamics, particularly how the token-level loss evolves during usual pretraining. In SS2.1, we evaluated the model's token perplexity at different checkpoints and categorized tokens into different types. Our findings reveal that significant loss reduction is limited to a select group of tokens during training. Many tokens are "easy tokens" that are already learned, and some are "hard tokens" that exhibit variable losses and resist convergence. These tokens can lead to numerous ineffective gradient updates.
언어 모델이 토큰 수준에서 어떻게 학습하는지 알아보기 위해 처음에는 훈련 동역학, 특히 일반적인 전처리 중에 토큰 수준 Loss가 어떻게 진화하는지 살펴봤습니다. SS2.1에서는 다양한 체크포인트에서 모델의 토큰 당 Perplexity를 평가하고 토큰을 여러 유형으로 분류했습니다. 그 결과, 훈련 중에 상당한 Loss 감소는 일부 토큰으로 제한된다는 사실을 발견했습니다. 많은 토큰은 이미 학습된 '쉬운 토큰'이며, 일부 토큰은 가변적인 Loss를 보이고 수렴에 저항하는 '어려운 토큰'입니다. 이러한 토큰은 수많은 비효율적인 Gradient 업데이트로 이어질 수 있습니다.
언어 모델이 토큰 수준에서 어떻게 학습하는지 알아보기 위해 처음에는 훈련 동역학, 특히 일반적인 전처리 중에 토큰 수준 손실이 어떻게 진화하는지 살펴봤습니다. SS2.1에서는 다양한 체크포인트에서 모델의 토큰 당 perplexity를 평가하고 토큰을 여러 유형으로 분류했습니다. 그 결과, 훈련 중에 상당한 손실 감소는 일부 토큰으로 제한된다는 사실을 발견했습니다. 많은 토큰은 이미 학습된 '쉬운 토큰'이며, 일부 토큰은 가변적인 손실을 보이고 수렴에 저항하는 '어려운 토큰'입니다. 이러한 토큰은 수많은 비효율적인 그라디언트 업데이트로 이어질 수 있습니다.