In this work, we discover the quantitative predictability of model losses regarding the mixture proportions of training data, which boils down to the data mixing laws. Our findingscover training data from two domains to multiple domains, and validation data from a single domain to unknown compositions. Using data mixing laws allows practitioners to quantitatively estimate the model performance on unseen mixture proportions before the actual training, facilitating the tuning of ideal mixture proportions. We further propose the nested use of scaling laws of training steps, model sizes, and data mixture to make predictions with only experiments at small scales, which enables the reuse of existing experiments and reduces the computation costs. Experimental results suggest that our method effectively optimizes the data mixture, which leads to better performance in pretraining and maintaining the original abilities of pretrained models in continual pretraining.
이 연구에서는 학습 데이터의 혼합 비율과 관련된 모델 Loss의 정량적 예측 가능성을 발견했으며, 이는 데이터 혼합 법칙으로 귀결됩니다. 연구 결과는 두 도메인의 학습 데이터에서 여러 도메인의 학습 데이터로, 그리고 단일 도메인의 유효성 검사 데이터에서 알 수 없는 구성으로 확장됩니다. 데이터 혼합 법칙을 사용하면 실제 훈련 전에 보이지 않는 혼합 비율에 대한 모델 성능을 정량적으로 추정할 수 있으므로 이상적인 혼합 비율을 조정할 수 있습니다. 또한 훈련 단계, 모델 크기 및 데이터 혼합의 Scaling laws를 중첩하여 소규모 실험만으로 예측을 수행할 수 있도록 제안하여 기존 실험을 재사용하고 계산 비용을 줄일 수 있습니다. 실험 결과, 이 방법은 데이터 혼합을 효과적으로 최적화하여 사전 학습에서 더 나은 성능을 달성하고 지속적인 사전 학습에서 사전 학습된 모델의 원래 기능을 유지하는 데 도움이 됩니다.
이 연구에서는 학습 데이터의 혼합 비율과 관련된 모델 손실의 정량적 예측 가능성을 발견했으며, 이는 데이터 혼합 법칙으로 귀결됩니다. 연구 결과는 두 도메인의 학습 데이터에서 여러 도메인의 학습 데이터로, 그리고 단일 도메인의 유효성 검사 데이터에서 알 수 없는 구성으로 확장됩니다. 데이터 혼합 법칙을 사용하면 실제 훈련 전에 보이지 않는 혼합 비율에 대한 모델 성능을 정량적으로 추정할 수 있으므로 이상적인 혼합 비율을 조정할 수 있습니다. 또한 훈련 단계, 모델 크기 및 데이터 혼합의 스케일링 법칙을 중첩하여 소규모 실험만으로 예측을 수행할 수 있도록 제안하여 기존 실험을 재사용하고 계산 비용을 줄일 수 있습니다. 실험 결과, 이 방법은 데이터 혼합을 효과적으로 최적화하여 사전 학습에서 더 나은 성능을 달성하고 지속적인 사전 학습에서 사전 학습된 모델의 원래 기능을 유지하는 데 도움이 됩니다.