To reach low prediction errors with a limited number of experiment runs, we select the mixtures for experimentation by leveraging the fact that mixture proportion terms are represented as exponential functions within our data mixing law. Specifically, we enumerate candidate mixtures by double-diminishing the proportion for each training domain, starting from the maximum available one that does not use up all the domain tokens. In this way, the losses of each (implicit) validation domain are distributed evenly. We then sample 40 mixtures from all the candidates and train the smallest 70M models. We resample groups of 20 mixtures from them to fit the data mixing law and select the group that reaches minimum prediction errors on all 40 samples as our final set of mixtures to run our pipeline. For more details, please refer to Appendix B.2.
제한된 수의 실험 실행으로 낮은 예측 오류에 도달하기 위해, 우리는 데이터 혼합 법칙 내에서 혼합 비율 항이 지수 함수로 표현된다는 사실을 활용하여 실험을 위한 혼합물을 선택합니다. 구체적으로, 모든 도메인 토큰을 사용하지 않는 최대 비율부터 시작하여 각 학습 도메인의 비율을 두 배로 줄임으로써 후보 혼합물을 열거합니다. 이러한 방식으로 각 (암시적) validation 도메인의 loss가 고르게 분산됩니다. 그런 다음 모든 후보에서 40개의 혼합물을 샘플링하고 가장 작은 70M 모델을 훈련합니다. 그들로부터 20개의 혼합물 그룹을 다시 샘플링하여 데이터 혼합 법칙에 맞게 조정하고 40개의 샘플에서 최소 예측 오류에 도달하는 그룹을 파이프라인을 실행할 최종 혼합물 세트로 선택합니다. 자세한 내용은 부록 B.2를 참조하세요.
제한된 수의 실험 실행으로 낮은 예측 오류에 도달하기 위해, 우리는 데이터 혼합 법칙 내에서 혼합 비율 항이 지수 함수로 표현된다는 사실을 활용하여 실험을 위한 혼합물을 선택합니다. 구체적으로, 모든 도메인 토큰을 사용하지 않는 최대 비율부터 시작하여 각 학습 도메인의 비율을 두 배로 줄임으로써 후보 혼합물을 열거합니다. 이러한 방식으로 각 (암시적) 유효성 검사 도메인의 손실이 고르게 분산됩니다. 그런 다음 모든 후보에서 40개의 혼합물을 샘플링하고 가장 작은 70M 모델을 훈련합니다. 그들로부터 20개의 혼합물 그룹을 다시 샘플링하여 데이터 혼합 법칙에 맞게 조정하고 40개의 샘플에서 최소 예측 오류에 도달하는 그룹을 파이프라인을 실행할 최종 혼합물 세트로 선택합니다. 자세한 내용은 부록 B.2를 참조하세요.