Selected Token Loss Aligns Better with Downstream PerformanceWe use the reference model to filter tokens and explore the changes in validation loss after training on all/selected tokens, while observing their relationship with downstream loss. As shown in Figure 6, we pretrain approximately 4B tokens and displayed the variation curves of loss on different pretraining method and validation sets during the pretraining process. We can observe that on the tokens selected by the reference model, the decrease in average loss of the Rho-1 is more significant compared to regular pretraining. On the contrary, on the unselected tokens, the decrease in average loss of the regular pretraining is more significant. If we associate fig (a), fig(b) with fig(c), it is not difficult to find that the model trained on the selected tokens has a more significant decrease in downstream loss, while ordinary pretraining, although reducing the average loss of all tokens during the training phase, is difficult to have a significant decrease in downstream loss. Therefore, we expect that selecting tokens for pretraining is more efficient.
선택된 Token Loss는 다운스트림 성능에 더 잘 부합합니다. 참조 모델을 사용하여 토큰을 필터링하고 모든/선택된 토큰에 대해 학습한 후 validation loss의 변화를 살펴보고 다운스트림 loss와의 관계를 관찰합니다. 그림 6과 같이 약 40억 개의 토큰을 pretrain하고 pretraining 과정에서 다양한 pretraining 방법과 validation 세트에 대한 loss의 변화 곡선을 표시했습니다. 참조 모델에서 선택한 토큰의 경우 일반 pretraining에 비해 Rho-1의 평균 loss 감소가 더 큰 것을 관찰할 수 있습니다. 반대로 선택되지 않은 토큰의 경우 일반 pretraining의 평균 loss 감소가 더 큰 것으로 나타났습니다. 그림 (a), 그림 (b)를 그림 (c)와 연관시키면 선택된 토큰으로 학습한 모델의 다운스트림 loss 감소가 더 큰 반면, 일반적인 pretraining은 학습 단계에서 모든 토큰의 평균 loss를 감소시키기는 하지만 다운스트림 loss 감소가 크지 않다는 것을 어렵지 않게 알 수 있습니다. 따라서 pretraining을 위해 토큰을 선택하는 것이 더 효율적이라고 기대합니다.
선택된 토큰 손실은 다운스트림 성능에 더 잘 부합합니다.참조 모델을 사용하여 토큰을 필터링하고 모든/선택된 토큰에 대해 학습한 후 유효성 검사 손실의 변화를 살펴보고 다운스트림 손실과의 관계를 관찰합니다. 그림 6과 같이 약 40억 개의 토큰을 사전 학습하고 사전 학습 과정에서 다양한 사전 학습 방법과 유효성 검사 세트에 대한 손실의 변화 곡선을 표시했습니다. 참조 모델에서 선택한 토큰의 경우 일반 사전 학습에 비해 Rho-1의 평균 손실 감소가 더 큰 것을 관찰할 수 있습니다. 반대로 선택되지 않은 토큰의 경우 일반 사전 학습의 평균 손실 감소가 더 큰 것으로 나타났습니다. 그림 (a), 그림 (b)를 그림 (c)와 연관시키면 선택된 토큰으로 학습한 모델의 다운스트림 손실 감소가 더 큰 반면, 일반적인 사전 학습은 학습 단계에서 모든 토큰의 평균 손실을 감소시키기는 하지만 다운스트림 손실 감소가 크지 않다는 것을 어렵지 않게 알 수 있습니다. 따라서 사전 학습을 위해 토큰을 선택하는 것이 더 효율적이라고 기대합니다.