While data mixing laws enable us to predict the performance of models trained on unseen mixtures, the requirement to fit the laws involves training multiple models across diverse mixtures with model sizes and token counts identical to the target ones. Furthermore, we must repeat this process for each target model size and training dataset9. This results in expensive costs thus hindering the practical value of our data mixing laws.
데이터 mixing 법칙을 사용하면 보이지 않는 혼합물에 대해 학습된 모델의 성능을 예측할 수 있지만, 법칙을 맞추기 위해서는 대상 모델 크기 및 토큰 수와 동일한 다양한 혼합물에 대해 여러 모델을 학습시켜야 합니다. 또한 각 대상 모델 크기와 학습 데이터 세트에 대해 이 과정을 반복해야 합니다. 이로 인해 비용이 많이 들기 때문에 데이터 mixing 법칙의 실제 가치가 저해됩니다.
데이터 믹싱 법칙을 사용하면 보이지 않는 혼합물에 대해 학습된 모델의 성능을 예측할 수 있지만, 법칙을 맞추기 위해서는 대상 모델 크기 및 토큰 수와 동일한 다양한 혼합물에 대해 여러 모델을 학습시켜야 합니다. 또한 각 대상 모델 크기와 학습 데이터 세트9에 대해 이 과정을 반복해야 합니다. 이로 인해 비용이 많이 들기 때문에 데이터 믹싱 법칙의 실제 가치가 저해됩니다.