Our investigation begins with a critical look at how individual tokens' losses evolve during standard pre-training. We continue pre-training Tinyllama-1B with 15B tokens from OpenWebMath, saving checkpoints after every 1B tokens. We then evaluate token-level loss at these intervals using the validation set of approximately 320,000 tokens. Figure 3(a) reveals a striking pattern: tokens fall into four categories based on their loss trajectory--persistent high loss (H\(\rightarrow\)H), increasing loss (L\(\rightarrow\)H), decreasing loss (H\(\rightarrow\)L), and consistent low loss (L\(\rightarrow\)L). For further details on these categories, see SSB.1. Our analysis uncovers that a mere 26% of tokens show a notable loss reduction (H\(\rightarrow\)L), while the majority (51%) remain in the L\(\rightarrow\)L category, indicating they have already been learned. Interestingly, 11% of the tokens are persistently challenging (H\(\rightarrow\)H), likely due to high aleatoric uncertainty [16]. Additionally, 12% of tokens experience an unexpected loss increase (L\(\rightarrow\)H) during training.
우리의 조사는 표준 사전 학습 중에 개별 토큰의 Loss가 어떻게 진화하는지에 대한 비판적인 조사로 시작됩니다. OpenWebMath의 150억 토큰으로 Tinyllama-1B의 사전 학습을 계속 진행하고, 10억 토큰마다 체크포인트를 저장합니다. 그런 다음 약 32만 개의 토큰으로 구성된 검증 세트를 사용하여 이러한 간격에서 토큰 수준 Loss를 평가합니다. 그림 3(a)를 보면 토큰이 Loss 궤적에 따라 지속적으로 높은 Loss (H\(\rightarrow\)H), 증가하는 Loss (L\(\rightarrow\)H), 감소하는 Loss (H\(\rightarrow\)L), 일관된 낮은 Loss (L\(\rightarrow\)L)의 네 가지 범주로 분류되는 놀라운 패턴이 드러납니다. 이러한 범주에 대한 자세한 내용은 SSB.1을 참조하세요. 분석 결과, 눈에 띄는 Loss 감소를 보이는 토큰은 26%에 불과하며, 대다수(51%)는 이미 학습이 완료된 것으로 보이는 L\(\rightarrow\)L 범주에 속해 있습니다. 흥미롭게도 11%의 토큰은 높은 우연 불확실성[16]으로 인해 지속적으로 도전적인(H\(\rightarrow\)H) 토큰으로 나타났습니다. 또한 12%의 토큰은 훈련 중에 예기치 않은 Loss 증가(L\(\rightarrow\)H)를 경험합니다.
우리의 조사는 표준 사전 학습 중에 개별 토큰의 손실이 어떻게 진화하는지에 대한 비판적인 조사로 시작됩니다. OpenWebMath의 150억 토큰으로 Tinyllama-1B의 사전 학습을 계속 진행하고, 10억 토큰마다 체크포인트를 저장합니다. 그런 다음 약 32만 개의 토큰으로 구성된 검증 세트를 사용하여 이러한 간격에서 토큰 수준 손실을 평가합니다. 그림 3(a)를 보면 토큰이 손실 궤적에 따라 지속적으로 높은 손실(H\(\우측수렴\)H), 증가하는 손실(L\(\우측수렴\)H), 감소하는 손실(H\(\우측수렴\)L), 일관된 낮은 손실(L\(\우측수렴\)L)의 네 가지 범주로 분류되는 놀라운 패턴이 드러납니다. 이러한 범주에 대한 자세한 내용은 SSB.1을 참조하세요. 분석 결과, 눈에 띄는 손실 감소를 보이는 토큰은 26%에 불과하며, 대다수(51%)는 이미 학습이 완료된 것으로 보이는 L\(\우측수렴\)L 범주에 속해 있습니다. 흥미롭게도 11%의 토큰은 높은 우연 불확실성[16]으로 인해 지속적으로 도전적인(H\(\우측수렴\)H) 토큰으로 나타났습니다. 또한 12%의 토큰은 훈련 중에 예기치 않은 손실 증가(L\(\우측수렴\)H)를 경험합니다.