Figure 3: Actual and predicted loss trajectories of 500M, 2B and 33B models on the out-of-domain private Chinese test data (Section 4.2). The loss trajectory on out-of-domain test data has large fluctuations, but the overall trend and final converged loss values still closely align with the predictions. The estimated constant values in scaling-law formulas are provided on the bottom right.
그림 3: 도메인 외 개인 중국어 테스트 데이터(4.2절)에서 500M, 2B 및 33B 모델의 실제 및 예측 Loss 궤적입니다. 도메인 외 테스트 데이터의 Loss 궤적은 변동이 크지만 전체적인 추세와 최종 수렴 Loss 값은 여전히 예측과 밀접하게 일치합니다. Scaling-law 공식의 추정 상수 값은 오른쪽 하단에 제공됩니다.
그림 3: 도메인 외 개인 중국어 테스트 데이터(4.2절)에서 500M, 2B 및 33B 모델의 실제 및 예측 손실 궤적입니다. 도메인 외 테스트 데이터의 손실 궤적은 변동이 크지만 전체적인 추세와 최종 수렴 손실 값은 여전히 예측과 밀접하게 일치합니다. 스케일링 법칙 공식의 추정 상수 값은 오른쪽 하단에 제공됩니다.