Figure 1: Illustration on our pipeline to optimize data mixture. **Left:** Our pipeline takes three steps. Starting from small-scale training results, the three steps use the scaling laws of training steps, model sizes, and data mixing laws to predict model performance on large steps, large models, and unseen mixtures, respectively. **Right:** Visualization of the three-step pipeline to predict model performance on the target model size, training step, and mixtures.
그림 1: 데이터 혼합을 최적화하는 파이프라인에 대한 설명. **왼쪽:** 파이프라인은 세 단계로 이루어집니다. 소규모 훈련 결과에서 시작하여 세 단계는 훈련 단계, 모델 크기 및 데이터 혼합 법칙의 scaling laws를 사용하여 각각 큰 단계, 큰 모델 및 보이지 않는 혼합에 대한 모델 성능을 예측합니다. **오른쪽:** 대상 모델 크기, 훈련 단계 및 혼합에 대한 모델 성능을 예측하기 위한 3단계 파이프라인의 시각화.
그림 1: 데이터 혼합을 최적화하는 파이프라인에 대한 설명. **왼쪽:** 파이프라인은 세 단계로 이루어집니다. 소규모 훈련 결과에서 시작하여 세 단계는 훈련 단계, 모델 크기 및 데이터 혼합 법칙의 확장 법칙을 사용하여 각각 큰 단계, 큰 모델 및 보이지 않는 혼합에 대한 모델 성능을 예측합니다. **오른쪽:** 대상 모델 크기, 훈련 단계 및 혼합에 대한 모델 성능을 예측하기 위한 3단계 파이프라인의 시각화.