One may wonder whether we can find the optimal data mixtures on small models and few numbers of steps, and then transfer the found mixture proportions to large-scale training. To answer this question, we compare the relative performance of models in different sizes and trained with different numbers of steps in Fig. 9.
작은 모델과 적은 단계 수에서 최적의 데이터 혼합 비율을 찾은 후, 이 비율을 대규모 훈련에 적용할 수 있는지 궁금해할 수 있습니다. 이 질문에 답하기 위해, 우리는 Fig. 9에서 서로 다른 크기의 모델과 다양한 단계 수로 훈련된 모델의 상대적인 성능을 비교합니다.
작은 모델과 적은 수의 단계에서 최적의 데이터 혼합물을 찾은 다음, 찾은 혼합 비율을 대규모 훈련에 전달할 수 있는지 궁금할 수 있습니다. 이 질문에 답하기 위해 Fig. 9에서 다양한 크기의 모델과 다양한 단계 수로 훈련된 모델의 상대적 성능을 비교합니다.