Nonetheless, it remains elusive to figure out an ideal training data mixture. Most existing practices tune the mixture through heuristics to upsample a proportion of high-quality or underrepresented data without disclosing the concrete criteria in detail (Gao et al., 2020; Touvron et al., 2023; Bai et al., 2023; Bi et al., 2024) and it is hard to predate whether these data strategies are effective before finishing the training run. Encouraged by advances in scaling laws that show model losses on a given set of evaluation data are quantitatively predictable for a wide range of variables (Kaplan et al., 2020; Hoffmann et al., 2022), we wonder whether this also holds for mixture proportions, so that _we can estimate the outcome model performance given any mixture before actually training on them, including the desired one that reaches minimum loss._In this paper, we answer this proposition affirmatively.
그럼에도 불구하고 이상적인 훈련 데이터 혼합을 파악하는 것은 여전히 어렵습니다. 대부분의 기존 관행은 구체적인 기준을 자세히 공개하지 않고 고품질 또는 과소 대표 데이터의 비율을 업샘플링하기 위해 휴리스틱을 통해 혼합물을 조정합니다(Gao et al., 2020; Touvron et al., 2023; Bai et al., 2023; Bi et al., 2024), 훈련 실행을 완료하기 전에 이러한 데이터 전략이 효과적인지 예측하기는 어렵습니다. 주어진 평가 데이터 집합에서 모델 Loss가 광범위한 변수에 대해 정량적으로 예측할 수 있다는 Scaling laws의 발전에 자극을 받아 혼합 비율에도 마찬가지로 최소 Loss에 도달하는 원하는 비율을 포함하여 실제로 훈련하기 전에 어떤 혼합이 주어졌을 때 결과 모델 성능을 추정할 수 있는지 궁금합니다. 이 논문에서는 이 가정에 긍정적으로 답합니다.
그럼에도 불구하고 이상적인 훈련 데이터 혼합을 파악하는 것은 여전히 어렵습니다. 대부분의 기존 관행은 구체적인 기준을 자세히 공개하지 않고 고품질 또는 과소 대표 데이터의 비율을 업샘플링하기 위해 휴리스틱을 통해 혼합물을 조정합니다(Gao et al., 2020; Touvron et al., 2023; Bai et al., 2023; Bi et al., 2024), 훈련 실행을 완료하기 전에 이러한 데이터 전략이 효과적인지 예측하기는 어렵습니다. 주어진 평가 데이터 집합에서 모델 손실이 광범위한 변수에 대해 정량적으로 예측할 수 있다는 확장 법칙의 발전에 자극을 받아 혼합 비율에도 마찬가지로 최소 손실에 도달하는 원하는 비율을 포함하여 실제로 훈련하기 전에 어떤 혼합이 주어졌을 때 결과 모델 성능을 추정할 수 있는지 궁금합니다. 이 논문에서는 이 가정에 긍정적으로 답합니다.