Pretraining data of large language models composes multiple domains (e.g., web texts, academic papers, codes), whose mixture proportions crucially impact the competence of outcome models. While existing endeavors rely on heuristics or qualitative strategies to tune the proportions, we discover the quantitative predictability of model performance regarding the mixture proportions in function forms, which we refer to as the _data mixing laws_. Fitting such functions on sample mixtures unveils model performance on unseen mixtures before actual runs, thus guiding the selection of an ideal data mixture. Furthermore, we propose nested use of the scaling laws of training steps, model sizes, and our data mixing law to enable predicting the performance of large models trained on massive data under various mixtures with only small-scale training. Moreover, experimental results verify that our method effectively optimizes the training mixture of a 1B model trained for 100B tokens in RedPaiama, reaching a performance comparable to the one trained for 48% more steps on the default mixture.
대규모 언어 모델의 사전 학습 데이터는 여러 도메인(예: 웹 텍스트, 학술 논문, 코드)으로 구성되며, 이러한 혼합 비율은 결과 모델의 역량에 결정적인 영향을 미칩니다. 기존의 노력은 휴리스틱이나 정성적인 전략에 의존하여 비율을 조정하지만, 우리는 함수 형태의 혼합 비율에 대한 모델 성능의 정량적 예측 가능성을 발견했으며, 이를 _data mixing laws_라고 합니다. 이러한 함수를 샘플 혼합물에 맞추면 실제 실행 전에 보이지 않는 혼합물에 대한 모델 성능을 공개하여 이상적인 데이터 혼합물을 선택하도록 안내합니다. 또한, 훈련 단계, 모델 크기, 데이터 혼합 법칙의 _scaling laws_를 중첩하여 소규모 훈련만으로 다양한 혼합에서 대규모 데이터로 훈련된 대규모 모델의 성능을 예측할 수 있도록 제안합니다. 또한, 실험 결과, 우리의 방법이 RedPaiama에서 100B 토큰에 대해 훈련된 1B 모델의 훈련 혼합을 효과적으로 최적화하여 기본 혼합에서 48% 더 많은 단계에 대해 훈련된 모델과 비슷한 성능에 도달함을 확인했습니다.
대규모 언어 모델의 사전 학습 데이터는 여러 도메인(예: 웹 텍스트, 학술 논문, 코드)으로 구성되며, 이러한 혼합 비율은 결과 모델의 역량에 결정적인 영향을 미칩니다. 기존의 노력은 휴리스틱이나 정성적인 전략에 의존하여 비율을 조정하지만, 우리는 함수 형태의 혼합 비율에 대한 모델 성능의 정량적 예측 가능성을 발견했으며, 이를 데이터 믹싱 법칙이라고 합니다. 이러한 함수를 샘플 혼합물에 맞추면 실제 실행 전에 보이지 않는 혼합물에 대한 모델 성능을 공개하여 이상적인 데이터 혼합물을 선택하도록 안내합니다. 또한, 훈련 단계, 모델 크기, 데이터 혼합 법칙의 스케일링 법칙을 중첩하여 소규모 훈련만으로 다양한 혼합에서 대규모 데이터로 훈련된 대규모 모델의 성능을 예측할 수 있도록 제안합니다. 또한, 실험 결과, 우리의 방법이 RedPaiama에서 100B 토큰에 대해 훈련된 1B 모델의 훈련 혼합을 효과적으로 최적화하여 기본 혼합에서 48% 더 많은 단계에 대해 훈련된 모델과 비슷한 성능에 도달함을 확인했습니다.