Figure 6 indicates a clear relationship between the size of the training data and the performance scores across the CEval, CMMLU, and MMLU benchmarks. All three subfigures exhibit a monotonically increasing trend, where the scores improve as the number of training checkpoints increases. This suggests that larger training datasets enable the models to learn more effectively, leading to better performance on evaluation tasks. The rate of score increase appears to be diminishing as the number of checkpoints grows. Initially, there is a steep improvement in scores, which gradually levels off. This could indicate that while larger training datasets initially provide substantial new information for the models to learn from, the incremental benefit decreases as the model approaches an asymptotic performance ceiling.
그림 6은 CEval, CMMLU 및 MMLU 벤치마크에 걸쳐 학습 데이터의 크기와 성능 점수 사이의 명확한 관계를 나타냅니다. 세 개의 하위 그림 모두 점수가 증가함에 따라 점수가 증가하는 단조롭게 증가하는 추세를 보입니다. 이는 더 큰 training datasets를 통해 모델이 더 효과적으로 학습할 수 있으므로 평가 작업에서 더 나은 성능을 발휘할 수 있음을 시사합니다. 점수 증가율은 checkpoints 수가 증가함에 따라 감소하는 것으로 보입니다. 처음에는 점수가 가파르게 증가하다가 점차 평준화됩니다. 이는 처음에는 더 큰 training datasets가 모델이 학습할 수 있는 새로운 정보를 상당히 제공하지만, 모델이 점근 성능 한계에 가까워짐에 따라 점진적인 이점이 감소한다는 것을 나타낼 수 있습니다.
그림 6은 CEval, CMMLU 및 MMLU 벤치마크에 걸쳐 학습 데이터의 크기와 성능 점수 사이의 명확한 관계를 나타냅니다. 세 개의 하위 그림 모두 점수가 증가함에 따라 점수가 증가하는 단조롭게 증가하는 추세를 보입니다. 이는 더 큰 훈련 데이터 세트를 통해 모델이 더 효과적으로 학습할 수 있으므로 평가 작업에서 더 나은 성능을 발휘할 수 있음을 시사합니다. 점수 증가율은 체크포인트 수가 증가함에 따라 감소하는 것으로 보입니다. 처음에는 점수가 가파르게 증가하다가 점차 평준화됩니다. 이는 처음에는 더 큰 훈련 데이터 세트가 모델이 학습할 수 있는 새로운 정보를 상당히 제공하지만, 모델이 점근 성능 한계에 가까워짐에 따라 점진적인 이점이 감소한다는 것을 나타낼 수 있습니다.