\(\bullet\)_Data scheduling_. With the preprocessed data, the next step is to determine the data mixture and the specific order of data for pre-training LLMs. To determine both settings, a practical way is to first train several small language models with multiple candidate plans and then select a good plan among them [59]. Overall, it is more difficult to find a suitable data curriculum. In practice, one can monitor the performance of intermediate model checkpoints on specific evaluation benchmarks, and dynamically tune the data mixture and distribution during pre-training. In this process, it is also useful to explore the potential relations between data sources and model abilities to instruct the design of data curriculum.
\(\bullet\)_Data scheduling_. 전처리된 데이터를 사용하면 다음 단계는 데이터 혼합과 사전 학습 LLM의 특정 데이터 순서를 결정하는 것입니다. 두 가지 설정을 모두 결정하기 위한 실용적인 방법은 먼저 여러 후보 계획을 통해 여러 소규모 언어 모델을 훈련한 다음 그 중에서 좋은 계획을 선택하는 것입니다[59]. 전반적으로 적합한 데이터 커리큘럼을 찾는 것이 더 어렵습니다. 실제로 특정 평가 벤치마크에서 중간 모델 체크포인트의 성능을 모니터링하고 사전 학습 중에 데이터 혼합 및 분포를 동적으로 조정할 수 있습니다. 이 과정에서 데이터 소스와 모델 능력 간의 잠재적 관계를 탐색하여 데이터 커리큘럼 설계를 지시하는 것도 유용합니다.
\(\bullet\)_데이터 스케줄링_. 전처리된 데이터를 사용하면 다음 단계는 데이터 혼합과 사전 학습 LLM의 특정 데이터 순서를 결정하는 것입니다. 두 가지 설정을 모두 결정하기 위한 실용적인 방법은 먼저 여러 후보 계획을 통해 여러 소규모 언어 모델을 훈련한 다음 그 중에서 좋은 계획을 선택하는 것입니다[59]. 전반적으로 적합한 데이터 커리큘럼을 찾는 것이 더 어렵습니다. 실제로 특정 평가 벤치마크에서 중간 모델 체크포인트의 성능을 모니터링하고 사전 학습 중에 데이터 혼합 및 분포를 동적으로 조정할 수 있습니다. 이 과정에서 데이터 소스와 모델 능력 간의 잠재적 관계를 탐색하여 데이터 커리큘럼 설계를 지시하는 것도 유용합니다.