Furthermore, we investigated the differences in token filtering across various checkpoints during the training process and tested the perplexity of these tokens on different checkpoints. As illustrated in Figure 8, we found that the tokens selected by later checkpoints tend to have higher perplexity towards the later stages of training and lower perplexity in the earlier stages. This may suggest that the model first optimizes tokens with a larger learnable space, thereby increasing learning efficiency. Moreover, we noticed a sample-wise "double descent" (Nakkiran et al., 2021) on the loss of selected tokens, where the select token's perplexity initially increases before decreases. This might be an effect of selecting tokens based on excess loss, targeting those most in need at each checkpoint.
또한, 훈련 과정에서 다양한 체크포인트에 걸쳐 토큰 필터링의 차이를 조사하고 다양한 체크포인트에서 이러한 토큰의 perplexity를 테스트했습니다. 그림 8에 나와 있듯이, 후반부 체크포인트에서 선택한 토큰은 훈련 후반부에는 perplexity가 높은 경향이 있고 초기 단계에는 perplexity가 낮은 경향이 있음을 발견했습니다. 이는 모델이 먼저 학습 가능한 공간이 더 큰 토큰을 최적화하여 학습 효율성을 높이는 것일 수 있습니다. 또한 선택된 토큰의 loss에 대해 샘플별 "이중 하강"(Nakkiran et al., 2021)을 발견했는데, 선택된 토큰의 perplexity가 처음에는 증가했다가 감소하는 현상이 나타났습니다. 이는 각 체크포인트에서 가장 필요한 토큰을 대상으로 과도한 loss를 기준으로 토큰을 선택하는 효과일 수 있습니다.
또한, 훈련 과정에서 다양한 체크포인트에 걸쳐 토큰 필터링의 차이를 조사하고 다양한 체크포인트에서 이러한 토큰의 당혹감을 테스트했습니다. 그림 8에 나와 있듯이, 후반부 체크포인트에서 선택한 토큰은 훈련 후반부에는 당혹감이 높은 경향이 있고 초기 단계에는 당혹감이 낮은 경향이 있음을 발견했습니다. 이는 모델이 먼저 학습 가능한 공간이 더 큰 토큰을 최적화하여 학습 효율성을 높이는 것일 수 있습니다. 또한 선택된 토큰의 손실에 대해 샘플별 "이중 하강"(Nakkiran et al., 2021)을 발견했는데, 선택된 토큰의 당혹감이 처음에는 증가했다가 감소하는 현상이 나타났습니다. 이는 각 체크포인트에서 가장 필요한 토큰을 대상으로 과도한 손실을 기준으로 토큰을 선택하는 효과일 수 있습니다.