Another similar observation is that the performance curves on MMLU, C-Eval, GSM8K, and GSM8K-Chinese do not yield an uptrend, meaning that the performance of these models on these four tasks are close to random (with fewer than 500B tokens). For simplicity, we only plot the performance of the latest checkpoint in each training in Figure 2. The complete performance curves with intermediate checkpoints of each model, in which we can observe the same trend but larger variance, are shown in Figure 5 (Appendix).
또 다른 유사한 관찰은 MMLU, C-Eval, GSM8K 및 GSM8K-Chinese의 성능 곡선이 추세가 없다는 것으로, 이러한 모델의 이러한 네 가지 작업의 성능이 무작위에 가깝다는 것을 의미합니다(토큰 수 500B 미만). 단순화를 위해 Figure 2에서는 각 훈련에서 가장 최근 checkpoint의 성능만 plot합니다. 동일한 추세를 관찰할 수 있지만 더 큰 분산을 보이는 각 모델의 중간 checkpoint를 포함한 전체 성능 곡선은 Figure 5(부록)에 나와 있습니다.
또 다른 유사한 관찰은 MMLU, C-Eval, GSM8K 및 GSM8K-Chinese의 성능 곡선이 추세가 없다는 것으로, 이러한 모델의 이러한 네 가지 작업의 성능이 무작위에 가깝다는 것을 의미합니다(토큰 수 500B 미만). 단순화를 위해 그림 2에서는 각 훈련에서 가장 최근 체크포인트의 성능만 플롯합니다. 동일한 추세를 관찰할 수 있지만 더 큰 분산을 보이는 각 모델의 중간 체크포인트를 포함한 전체 성능 곡선은 그림 5(부록)에 나와 있습니다.