On each line, each data point represents the performance and pre-training loss of the corresponding model pre-trained completely from scratch with the certain token count (and learning rate schedule). We can see that similar to the observations from Figure 1, the data points of different models sizes and training tokens largely fall on the same trending curves. In other words, _the LMs with the same pre-training loss regardless of token count and model size exhibit the same performance on the 12 downstream tasks_.
각 줄에서 각 데이터 포인트는 특정 토큰 수(및 Learning Rate 일정)로 처음부터 완전히 사전 학습된 해당 모델의 성능 및 사전 학습 Loss를 나타냅니다. 그림 1의 관찰과 유사하게, 토큰 수와 훈련 토큰이 다른 모델 크기의 데이터 포인트는 대부분 동일한 추세 곡선에 속한다는 것을 알 수 있습니다. 즉, _토큰 수와 모델 크기에 관계없이 사전 학습 Loss가 동일한 LMs는 12개의 다운스트림 작업에서 동일한 성능을 보여줍니다_.
각 줄에서 각 데이터 포인트는 특정 토큰 수(및 학습 속도 일정)로 처음부터 완전히 사전 학습된 해당 모델의 성능 및 사전 학습 손실을 나타냅니다. 그림 1의 관찰과 유사하게, 토큰 수와 훈련 토큰이 다른 모델 크기의 데이터 포인트는 대부분 동일한 추세 곡선에 속한다는 것을 알 수 있습니다. 즉, _토큰 수와 모델 크기에 관계없이 사전 학습 손실이 동일한 LM은 12개의 다운스트림 작업에서 동일한 성능을 보여줍니다_.