* We discover the quantitative predictability of model performance regarding data mixture, and summarize this into a functional relationship, namely the data mixing laws. * We propose a pipeline to predict model performance of large-scale training on different mixture proportions but only experiments on small models with few training data through nested use of scaling laws of training steps, model sizes, and data mixing laws. * We experiment to verify the reliability of our data mixing laws and prediction pipeline, showing its effectiveness in optimizing model performance, balancing model capabilities, and the prospects of guiding the design of the data schedule.
* 데이터 혼합과 관련된 모델 성능의 정량적 예측 가능성을 발견하고 이를 함수 관계, 즉 데이터 mixing laws로 요약합니다. * 훈련 단계, 모델 크기 및 데이터 mixing laws의 중첩 사용을 통해 다양한 혼합 비율의 대규모 훈련에 대한 모델 성능을 예측하는 파이프라인을 제안하지만 훈련 데이터가 적은 소규모 모델에 대해서만 실험합니다. * 데이터 mixing laws와 예측 파이프라인의 신뢰성을 검증하기 위해 실험을 수행하여 모델 성능 최적화, 모델 기능 균형 및 데이터 스케줄 설계 안내의 전망에서 그 효과를 보여줍니다.
* 데이터 혼합과 관련된 모델 성능의 정량적 예측 가능성을 발견하고 이를 함수 관계, 즉 데이터 혼합 법칙으로 요약합니다. * 훈련 단계, 모델 크기 및 데이터 혼합 법칙의 중첩 사용을 통해 다양한 혼합 비율의 대규모 훈련에 대한 모델 성능을 예측하는 파이프라인을 제안하지만 훈련 데이터가 적은 소규모 모델에 대해서만 실험합니다. * 데이터 혼합 법칙과 예측 파이프라인의 신뢰성을 검증하기 위해 실험을 수행하여 모델 성능 최적화, 모델 기능 균형 및 데이터 스케줄 설계 안내의 전망에서 그 효과를 보여줍니다.