Despite the predictability, fitting the function between mixture proportions and validation loss, or the _data mixing laws_ for simplicity, requires samples of numerous runs with different mixtures. Running these experiments with the same model size and the amount of training data as the target model is unreasonably expensive. Fortunately, fruitful research on scaling laws demonstrates impressive results that fitting power laws with small models and small data effectively predicts the losses on larger models and data over orders of magnitudes (Kaplan et al., 2020; Henighan et al., 2020; Hoffmann et al., 2022; Alabdulmohsin et al., 2022; OpenAI, 2023; Muennighoff et al., 2024; Bi et al., 2024). On this basis, we propose a pipeline to nested utilize the scaling laws of training steps, model sizes, and our data mixing law, so that we can study the impact of mixture proportions for the target model sizes and data amount with only experiments at the affordable scales, illustrated in Fig. 1.
예측 가능성에도 불구하고 혼합 비율과 유효성 검사 Loss 또는 단순화를 위해 혼합 비율과 유효성 검사 Loss 사이의 함수, 즉 _데이터 혼합 법칙_을 맞추려면 서로 다른 혼합물을 사용하여 수많은 실행 샘플이 필요합니다. 동일한 모델 크기와 대상 모델과 동일한 양의 학습 데이터로 이러한 실험을 수행하는 것은 불합리할 정도로 비용이 많이 듭니다. 다행히도 Scaling laws에 대한 유익한 연구는 작은 모델과 작은 데이터로 파워 규칙을 맞추면 훨씬 더 큰 모델과 데이터의 손실을 효과적으로 예측할 수 있다는 인상적인 결과를 보여주고 있습니다(Kaplan et al., 2020; Henighan et al., 2020; Hoffmann et al., 2022; Alabdulmohsin et al., 2022; OpenAI, 2023; Muennighoff et al., 2024; Bi et al., 2024). 이를 바탕으로 학습 단계, 모델 크기, 데이터 혼합 법칙의 Scaling laws를 중첩하여 활용하는 파이프라인을 제안하여, 저렴한 규모의 실험만으로 대상 모델 크기와 데이터 양에 대한 혼합 비율의 영향을 연구할 수 있도록 하였으며, 이를 Fig. 1에 설명하였다.
예측 가능성에도 불구하고 혼합 비율과 유효성 검사 손실 또는 단순화를 위해 혼합 비율과 유효성 검사 손실 사이의 함수, 즉 _데이터 혼합 법칙_을 맞추려면 서로 다른 혼합물을 사용하여 수많은 실행 샘플이 필요합니다. 동일한 모델 크기와 대상 모델과 동일한 양의 학습 데이터로 이러한 실험을 수행하는 것은 불합리할 정도로 비용이 많이 듭니다. 다행히도 스케일링 법칙에 대한 유익한 연구는 작은 모델과 작은 데이터로 파워 규칙을 맞추면 훨씬 더 큰 모델과 데이터의 손실을 효과적으로 예측할 수 있다는 인상적인 결과를 보여주고 있습니다(Kaplan et al., 2020; Henighan et al., 2020; Hoffmann et al., 2022; Alabdulmohsin et al., 2022; OpenAI, 2023; Muennighoff et al., 2024; Bi et al., 2024). 이를 바탕으로 학습 단계, 모델 크기, 데이터 혼합 법칙의 스케일링 법칙을 중첩하여 활용하는 파이프라인을 제안하여, 저렴한 규모의 실험만으로 대상 모델 크기와 데이터 양에 대한 혼합 비율의 영향을 연구할 수 있도록 하였으며, 이를 Fig. 1에 설명하였다.