Out-of-Domain Test Loss PredictionFor the out-of-domain test set, we use a private Chinese data whose type is very rare in the training data and can be considered as out-of-domain data. The estimated constant terms, together with the actual and predicted loss trajectories of 500M, 2B and 33B models using the estimated formulas are depicted in Figure 3. It is evident that predicting out-of-domain data is more challenging than predicting in-domain data, as the actual loss trajectory exhibits significant fluctuations. Nonetheless, the overall trend of actual and predicted loss trajectories closely aligns. The final converged loss values are also rather similar, affirming the efficacy of scaling laws in predicting the loss trajectory for both in-domain and out-of-domain data.
도메인 테스트 Loss 예측 아웃 오브 도메인 테스트 세트의 경우, 트레이닝 데이터에서 유형이 매우 드물고 아웃 오브 도메인 데이터로 간주할 수 있는 비공개 중국 데이터를 사용합니다. 추정된 상수 항과 추정된 공식을 사용하여 500M, 2B 및 33B 모델의 실제 및 예측 Loss 궤적을 그림 3에 나타냈습니다. 실제 Loss 궤적이 큰 변동을 보이는 것처럼 아웃 오브 도메인 데이터를 예측하는 것이 인 도메인 데이터를 예측하는 것보다 더 어렵다는 것을 알 수 있습니다. 그럼에도 불구하고 실제 Loss 궤적과 예측 Loss 궤적의 전체적인 추세는 매우 유사합니다. 최종 수렴 Loss 값도 상당히 유사하여 인 도메인 및 아웃 도메인 데이터 모두에 대한 Loss 궤적을 예측하는 데 있어 Scaling laws의 효율성을 확인할 수 있습니다.
도메인 테스트 손실 예측아웃 오브 도메인 테스트 세트의 경우, 트레이닝 데이터에서 유형이 매우 드물고 아웃 오브 도메인 데이터로 간주할 수 있는 비공개 중국 데이터를 사용합니다. 추정된 상수 항과 추정된 공식을 사용하여 500M, 2B 및 33B 모델의 실제 및 예측 손실 궤적을 그림 3에 나타냈습니다. 실제 손실 궤적이 큰 변동을 보이는 것처럼 아웃 오브 도메인 데이터를 예측하는 것이 인 도메인 데이터를 예측하는 것보다 더 어렵다는 것을 알 수 있습니다. 그럼에도 불구하고 실제 손실 궤적과 예측 손실 궤적의 전체적인 추세는 매우 유사합니다. 최종 수렴 손실 값도 상당히 유사하여 인 도메인 및 아웃 도메인 데이터 모두에 대한 손실 궤적을 예측하는 데 있어 스케일링 법칙의 효율성을 확인할 수 있습니다.