Figure 6: Comparative performance trends of different language models over various training checkpoints, as fitted by the Eq.(1). (a) We present the CEval Score Trends, showing a consistent increase in performance with larger training data sizes. (b) We depict the CMMLU Score Trends, with a similar positive correlation between score and training size. (c) We illustrate the MMLU Score Trends, with all models demonstrating performance enhancements correlating with the scale of training data. Each graph plots individual data points for different versions of the models and overlays a curve fit to represent the scaling law’s predictive performance scaling.
Figure 6: 다양한 훈련 체크포인트에서 서로 다른 언어 모델의 비교 성능 추세를 Eq.(1)에 맞춰 나타낸 것입니다. (a) CEval 점수 추세를 제시하며, 더 큰 훈련 데이터 크기와 함께 성능이 일관되게 증가하는 것을 보여줍니다. (b) CMMLU 점수 추세를 묘사하며, 점수와 훈련 크기 사이의 유사한 긍정적 상관관계를 나타냅니다. (c) MMLU 점수 추세를 설명하며, 모든 모델이 훈련 데이터의 규모와 상관관계가 있는 성능 향상을 보여줍니다. 각 그래프는 모델의 다양한 버전에 대한 개별 데이터 포인트를 플로팅하고, 스케일링 법칙의 예측 성능 스케일링을 나타내기 위해 곡선 피팅을 오버레이합니다.
그림 6: 다양한 훈련 체크포인트에 대한 다양한 언어 모델의 비교 성능 추세를 Eq.(1)에 맞춰 표시합니다. (a) 훈련 데이터 크기가 클수록 성능이 지속적으로 증가하는 것을 보여주는 CEval 점수 추세를 제시합니다. (b) 점수와 훈련 규모 사이의 유사한 양의 상관관계를 보여주는 CMMLU 점수 추세를 나타냅니다. (c) 모든 모델이 훈련 데이터의 규모와 상관관계가 있는 성능 향상을 보여주는 MMLU 점수 추세를 보여줍니다. 각 그래프는 모델의 여러 버전에 대한 개별 데이터 포인트를 플롯하고 스케일링 법칙의 예측 성능 스케일링을 나타내는 곡선 피트를 오버레이합니다.