We evaluate the performance of intermediate training checkpoints. The checkpoints are saved around every 43B tokens during pre-training. We plot the points of task performance (\(y\)-axis) and training loss (\(x\)-axis) in Figure 1. From the curves, we can see that the training loss is a good predictor of the performance on 12 downstream tasks.
중간 훈련 체크포인트의 성능을 평가합니다. 체크포인트는 사전 훈련 중 약 43B 토큰마다 저장됩니다. 그림 1에 작업 성능(\(y\)-축)과 training loss(\(x\)-축)의 점을 그래프로 표시합니다. 이 곡선에서 training loss가 12개의 다운스트림 작업에서의 성능을 잘 예측할 수 있음을 알 수 있습니다.
중간 훈련 체크포인트의 성능을 평가합니다. 체크포인트는 사전 훈련 중 약 43B 토큰마다 저장됩니다. 그림 1에 작업 성능(\(y\)-축)과 훈련 손실(\(x\)-축)의 점을 그래프로 표시합니다. 이 곡선에서 훈련 손실이 12개의 다운스트림 작업에서의 성능을 잘 예측할 수 있음을 알 수 있습니다.