We categorize tokens into four categories: H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L, L\(\rightarrow\)L. During the training process, we collected the loss of each token after training on each 1 billion tokens training data. We then used linear fitting and took the difference in loss between the first and last points as evidence of whether the loss decreased during the training process.
토큰을 H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L, L\(\rightarrow\)L의 네 가지로 분류하였다. 학습 과정에서 각 10억 토큰 학습 데이터에 대해 학습한 후 각 토큰의 Loss를 수집하였다. 이후 선형 피팅을 사용하여 첫 번째 지점과 마지막 지점의 Loss 차이를 학습 과정에서 Loss가 감소했는지 여부에 대한 증거로 사용하였다.
토큰을 H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L, L\(\rightarrow\)L의 네 가지로 분류하였다. 학습 과정에서 각 10억 토큰 학습 데이터에 대해 학습한 후 각 토큰의 손실을 수집하였다. 이후 선형 피팅을 사용하여 첫 번째 지점과 마지막 지점의 손실 차이를 학습 과정에서 손실이 감소했는지 여부에 대한 증거로 사용하였다.