Problem formalization.We study optimizing the mixture proportions of pretraining data for large language models. Motivated by the impressive predictability of existing scaling laws, we try to tackle mixture optimization by establishing a quantitative framework that predicts the loss given any mixture proportion.
문제 공식화. 우리는 대규모 언어 모델에 대한 사전 학습 데이터의 혼합 비율을 최적화하는 것을 연구합니다. 기존의 놀라운 scaling laws의 예측 가능성에서 영감을 받아, 우리는 어떤 혼합 비율이 주어지더라도 loss를 예측하는 정량적 프레임워크를 구축하여 혼합 최적화를 해결하려고 합니다.
문제 공식화. 우리는 대규모 언어 모델에 대한 사전 학습 데이터의 혼합 비율을 최적화하는 것을 연구합니다. 기존의 놀라운 확장 법칙의 예측 가능성에서 영감을 받아, 우리는 어떤 혼합 비율이 주어지더라도 손실을 예측하는 정량적 프레임워크를 구축하여 혼합 최적화를 해결하려고 합니다.