* Generally, the task performance improves as the training loss goes down, regardless of the model sizes. On MMLU, C-Eval, GSM8K, and GSM8K-Chinese, all models of three sizes perform at the random level until the pre-training loss decreases to about 2.2, after which the performance gradually climbs as the loss increases. Detailed analysis on this is shown in Section 3. * Importantly, the performance-vs-loss data points of different model sizes fall on the same trending curve. That is, by ignoring the color differences (model sizes), the data points of different models are indistinguishable. For example, when the training loss falls around 2.00, the green and orange points on TriviaQA are indistinguishable. This indicates that the model performance on downstream tasks largely correlates with the pre-training loss, _regardless of the model size._
* Interestingly, we find that the overall training loss is a good predictor of performance on both English and Chinese tasks, although it is computed on a mixture of English and Chinese tokens. This implies that the learning dynamics of English and Chinese tokens are likely very similar during multilingual pre-training.
* 일반적으로 모델 크기에 관계없이 훈련 Loss가 감소함에 따라 작업 성능이 향상됩니다. MMLU, C-Eval, GSM8K 및 GSM8K-Chinese에서는 사전 학습 Loss가 약 2.2까지 감소할 때까지 세 가지 크기의 모든 모델이 무작위 수준에서 수행한 후 Loss가 증가함에 따라 성능이 점차 상승합니다. 이에 대한 자세한 분석은 섹션 3에서 확인할 수 있습니다. * 중요한 것은 모델 크기가 다른 경우의 성능 대 Loss 데이터 포인트가 동일한 추세 곡선에 위치한다는 것입니다. 즉, 색상 차이(모델 크기)를 무시하면 다른 모델의 데이터 포인트를 구분할 수 없습니다. 예를 들어, TriviaQA에서 훈련 Loss가 2.00 내외로 떨어질 때 녹색과 주황색 점은 구분할 수 없습니다. 이는 다운스트림 작업의 모델 성능이 모델 크기에 관계없이 사전 학습 Loss와 크게 상관관계가 있음을 나타냅니다. 흥미롭게도 전체 훈련 Loss가 영어와 중국어 토큰의 혼합으로 계산되지만 영어와 중국어 작업 모두의 성능을 잘 예측할 수 있다는 것을 발견했습니다. 이는 다국어 사전 학습 중에 영어와 중국어 토큰의 학습 동학이 매우 유사할 가능성이 높다는 것을 의미합니다.
* 일반적으로 모델 크기에 관계없이 훈련 손실이 감소함에 따라 작업 성능이 향상됩니다. MMLU, C-Eval, GSM8K 및 GSM8K-Chinese에서는 사전 학습 손실이 약 2.2까지 감소할 때까지 세 가지 크기의 모든 모델이 무작위 수준에서 수행한 후 손실이 증가함에 따라 성능이 점차 상승합니다. 이에 대한 자세한 분석은 섹션 3에서 확인할 수 있습니다. * 중요한 것은 모델 크기가 다른 경우의 성능 대 손실 데이터 포인트가 동일한 추세 곡선에 위치한다는 것입니다. 즉, 색상 차이(모델 크기)를 무시하면 다른 모델의 데이터 포인트를 구분할 수 없습니다. 예를 들어, 트리비아QA에서 훈련 손실이 2.00 내외로 떨어질 때 녹색과 주황색 점은 구분할 수 없습니다. 이는 다운스트림 작업의 모델 성능이 모델 크기에 관계없이 사전 학습 손실과 크게 상관관계가 있음을 나타냅니다.흥미롭게도 전체 훈련 손실이 영어와 중국어 토큰의 혼합으로 계산되지만 영어와 중국어 작업 모두의 성능을 잘 예측할 수 있다는 것을 발견했습니다. 이는 다국어 사전 학습 중에 영어와 중국어 토큰의 학습 동학이 매우 유사할 가능성이 높다는 것을 의미합니다.