Experimental results verify the reliability of our data mixing law and prediction pipeline. By predicting the overall validation loss, we optimize the training mixture of RedPajama for a 1B model trained on 100B tokens and achieve performance comparable to a model trained on default mixture for 48% more steps. The prediction on domain-specific validation sets also offers plausible references to the balance of model capabilities. Further applying our data mixing law to continual pretraining can accurately find the proportion that avoids catastrophic forgetting (French, 1999; Kirkpatrick et al., 2017; Luo et al., 2023), revealing the prospect of applying data mixing laws to guide a multi-stage pertaining, and thus a dynamic data schedule.
실험 결과는 우리의 데이터 혼합 법칙과 예측 파이프라인의 신뢰성을 검증합니다. 전체 검증 손실을 예측함으로써, 우리는 100B 토큰으로 훈련된 1B 모델을 위한 RedPajama의 훈련 혼합을 최적화하고, 기본 혼합으로 48% 더 많은 단계에서 훈련된 모델과 비교할 만한 성능을 달성합니다. 도메인별 검증 세트에 대한 예측은 모델 능력의 균형에 대한 타당한 참조를 제공합니다. 우리의 데이터 혼합 법칙을 지속적인 사전 훈련에 적용하면, 치명적인 망각을 피할 수 있는 비율을 정확하게 찾을 수 있으며 (French, 1999; Kirkpatrick et al., 2017; Luo et al., 2023), 데이터 혼합 법칙을 다단계 사전 훈련을 안내하고, 따라서 동적 데이터 스케줄을 적용하는 전망을 드러냅니다.
실험 결과는 데이터 혼합 법칙과 예측 파이프라인의 신뢰성을 검증합니다. 전체 유효성 검사 손실을 예측하여 100B 토큰에 대해 학습된 1B 모델에 대한 RedPajama의 학습 혼합을 최적화하고, 기본 혼합에 대해 48% 더 많은 단계 동안 학습된 모델과 비슷한 성능을 달성합니다. 도메인별 유효성 검사 세트에 대한 예측은 모델 기능의 균형에 대한 그럴듯한 참조도 제공합니다. 지속적 사전 학습에 데이터 혼합 법칙을 추가로 적용하면 파국적 망각(French, 1999; Kirkpatrick et al., 2017; Luo et al., 2023)을 피할 수 있는 비율을 정확하게 찾을 수 있으며, 이는 다단계 관련성 및 동적 데이터 일정을 안내하기 위해 데이터 혼합 법칙을 적용할 수 있는 전망을 드러냅니다.