Figure 2: **The performance-vs-loss curves of smaller models pre-trained with different numbers of training tokens**. Each data point is the loss (\(x\)-axis) and performance (\(y\)-axis) of the final checkpoint of one model, i.e., each point corresponds to one model trained from scratch. We mark the results of random guess in black dashed lines.
Figure 2: **다양한 수의 학습 토큰으로 사전 학습된 작은 모델들의 성능 대 손실 곡선**. 각 데이터 포인트는 하나의 모델의 최종 체크포인트의 손실 (\(x\)-축)과 성능 (\(y\)-축)을 나타내며, 즉 각 포인트는 처음부터 학습된 하나의 모델에 해당합니다. 우리는 무작위 추측의 결과를 검은색 점선으로 표시합니다.
그림 2: **다양한 수의 학습 토큰으로 사전 학습된 소형 모델의 성능 대 손실 곡선**. 각 데이터 포인트는 하나의 모델의 최종 체크포인트의 손실(\(x\)-축)과 성능(\(y\)-축)이며, 즉 각 포인트는 처음부터 훈련된 하나의 모델에 해당합니다. 무작위 추측의 결과를 검은색 점선으로 표시합니다.