Determining Data Mix RatioThe quality of pre-training datasets is the one of the most important factors that affects the quality of large language models [15, 16]. However, determining the optimal mix ratio from multiple data sources is an extremely challenging task as it involves combinatorial combinations [13]. Existing works usually determine domain weights (the sampling probabilities for each domain) by using intuition or a set of downstream tasks. Scaling laws can offer some new insights in helping determine the optimal mix ratio. By predicting the test loss trajectory of large models on each individual data source, we could implicitly infer how important and useful each data source is (_e.g._, if the loss decreases faster in one data source and converges into a lower loss value, then this data source might be more useful).
데이터 믹스 비율 결정 사전 학습 데이터 세트의 품질은 Large Language Models (LLMs)의 품질에 영향을 미치는 가장 중요한 요소 중 하나입니다[15, 16]. 그러나 여러 데이터 소스에서 최적의 믹스 비율을 결정하는 것은 조합적 조합을 포함하기 때문에 매우 어려운 작업입니다[13]. 기존 연구에서는 일반적으로 직관이나 일련의 다운스트림 작업을 사용하여 도메인 가중치(각 도메인의 샘플링 확률)를 결정합니다. Scaling laws는 최적의 믹스 비율을 결정하는 데 도움이 되는 몇 가지 새로운 인사이트를 제공할 수 있습니다. 각 개별 데이터 소스에서 대규모 모델의 테스트 Loss 궤적을 예측함으로써 각 데이터 소스가 얼마나 중요하고 유용한지 암시적으로 추론할 수 있습니다(_예: 한 데이터 소스에서 Loss가 더 빨리 감소하고 더 낮은 Loss 값으로 수렴하는 경우, 이 데이터 소스가 더 유용할 수 있습니다).
데이터 믹스 비율 결정 사전 학습 데이터 세트의 품질은 대규모 언어 모델의 품질에 영향을 미치는 가장 중요한 요소 중 하나입니다[15, 16]. 그러나 여러 데이터 소스에서 최적의 믹스 비율을 결정하는 것은 조합적 조합을 포함하기 때문에 매우 어려운 작업입니다[13]. 기존 연구에서는 일반적으로 직관이나 일련의 다운스트림 작업을 사용하여 도메인 가중치(각 도메인의 샘플링 확률)를 결정합니다. 스케일링 법칙은 최적의 믹스 비율을 결정하는 데 도움이 되는 몇 가지 새로운 인사이트를 제공할 수 있습니다. 각 개별 데이터 소스에서 대규모 모델의 테스트 손실 궤적을 예측함으로써 각 데이터 소스가 얼마나 중요하고 유용한지 암시적으로 추론할 수 있습니다(_예: 한 데이터 소스에서 손실이 더 빨리 감소하고 더 낮은 손실 값으로 수렴하는 경우, 이 데이터 소스가 더 유용할 수 있습니다).