Our second observation is that a significant number of token losses exhibit persistent fluctuations, and resist convergence. The loss of many L\(\rightarrow\)L and H\(\rightarrow\)H tokens, as depicted in Figure 3 (b) and (c), show high variance during training. In SSB.2, we visualize and analyze the content of these tokens and find that many of them are noisy, which is consistent with our hypothesis.
두 번째 관찰 결과는 상당수의 token 손실이 지속적인 변동을 보이고 수렴에 저항한다는 것입니다. 그림 3 (b) 및 (c)에 표시된 바와 같이 많은 L\(\rightarrow\)L 및 H\(\rightarrow\)H token의 손실은 훈련 중에 높은 분산을 보입니다. SSB.2에서는 이러한 token의 내용을 시각화하고 분석한 결과, 많은 token이 노이즈가 많은 것으로 나타났으며, 이는 가설과 일치합니다.
두 번째 관찰 결과는 상당수의 토큰 손실이 지속적인 변동을 보이고 수렴에 저항한다는 것입니다. 그림 3 (b) 및 (c)에 표시된 바와 같이 많은 L\(\우측대각선\)L 및 H\(\우측대각선\)H 토큰의 손실은 훈련 중에 높은 분산을 보입니다. SSB.2에서는 이러한 토큰의 내용을 시각화하고 분석한 결과, 많은 토큰이 노이즈가 많은 것으로 나타났으며, 이는 가설과 일치합니다.