We thus wonder whether we can obtain the losses of different mixture proportions without training at large scales. Fortunately, this idea gains endorsement from existing experiences that verify the impressive extrapolation of scaling laws of training steps and model sizes. In particular, OpenAI (2023) predicts the loss of the target model with merely \(1,000\times-10,000\times\) less compute. As a consequence, we can train small models with few training steps on different mixtures, and fitting scaling laws on them to estimate the losses of the target model size and the target number of training steps. We can then use the predicted losses to fit a data mixing law and search for the optimal mixture. The proposed pipeline is illustrated in Fig. 1 with details depicted in Alg. 1.
따라서 대규모 훈련 없이도 다양한 혼합 비율의 Loss를 얻을 수 있는지 궁금합니다. 다행히도 이 아이디어는 훈련 단계와 모델 크기의 Scaling laws의 인상적인 추정치를 검증하는 기존 경험에서 지지를 얻고 있습니다. 특히, OpenAI(2023)는 단지 \(1,000\배-10,000\배\) 더 적은 계산으로 목표 모델의 Loss를 예측합니다. 결과적으로, 우리는 다양한 혼합물에 대해 몇 번의 훈련 단계로 작은 모델을 훈련하고, 이를 통해 Scaling laws를 맞추고 목표 모델 크기와 목표 훈련 단계 수의 Loss를 추정할 수 있습니다. 그런 다음 예측된 Loss를 사용하여 데이터 혼합 법칙을 맞추고 최적의 혼합물을 찾을 수 있습니다. 제안된 파이프라인은 Fig. 1에 예시되어 있으며 세부 사항은 Alg. 1에 나와 있습니다.
따라서 대규모 훈련 없이도 다양한 혼합 비율의 손실을 얻을 수 있는지 궁금합니다. 다행히도 이 아이디어는 훈련 단계와 모델 크기의 스케일링 법칙의 인상적인 추정치를 검증하는 기존 경험에서 지지를 얻고 있습니다. 특히, OpenAI(2023)는 단지 \(1,000\배-10,000\배\) 더 적은 계산으로 목표 모델의 손실을 예측합니다. 결과적으로, 우리는 다양한 혼합물에 대해 몇 번의 훈련 단계로 작은 모델을 훈련하고, 이를 통해 스케일링 법칙을 맞추고 목표 모델 크기와 목표 훈련 단계 수의 손실을 추정할 수 있습니다. 그런 다음 예측된 손실을 사용하여 데이터 혼합 법칙을 맞추고 최적의 혼합물을 찾을 수 있습니다. 제안된 파이프라인은 Fig. 1에 예시되어 있으며 세부 사항은 Alg. 1에 나와 있습니다.