Footnote 9: An idea is to transfer the optimized training mixture on small models trained with few tokens to the training of large models and large volumes of training data. Nevertheless, in Appendix A, we show that the partial order of data mixture concerning model performance varies as the model size and number of trained tokens change. Therefore, the optimal mixture at experimented scales can be suboptimal at the target scale.
Footnote 9: 한 가지 아이디어는 적은 토큰으로 훈련된 작은 모델에서 최적화된 훈련 혼합물을 대형 모델과 대량의 훈련 데이터로 전이하는 것입니다. 그러나 부록 A에서 우리는 모델 성능과 관련된 데이터 혼합물의 부분 순서가 모델 크기와 훈련된 토큰 수에 따라 달라진다는 것을 보여줍니다. 따라서 실험된 규모에서의 최적 혼합물이 목표 규모에서는 최적이 아닐 수 있습니다.
주 9: 아이디어는 소수의 토큰으로 훈련된 소형 모델에 최적화된 훈련 혼합물을 대형 모델과 대량의 훈련 데이터 훈련으로 전달하는 것입니다. 그럼에도 불구하고 부록 A에서는 모델 성능과 관련된 데이터 혼합의 부분 순서가 모델 크기와 훈련된 토큰 수가 변경됨에 따라 달라진다는 것을 보여줍니다. 따라서 실험된 규모에서 최적의 혼합은 대상 규모에서 최적이 아닐 수 있습니다.