**Data Curriculum.** After preparing the data mixture, it is important to schedule the order that specific data is presented to LLMs for pre-training. It has been shown that, in some cases, to learn a certain skill, learning in a skill-set sequence (_e.g.,_ basic skills \(\rightarrow\) target skill) outperforms direct learning from a corpus focused solely on the target skill [234, 235]. Following the idea of curriculum learning [236], _data curriculum_ has been proposed and widely used in model pre-training [234, 235, 237, 238]. It aims to organize different parts of pre-training data for LLMs in a specific order, _e.g.,_ starting with easy/general examples and progressively introducing more challenging/specialized ones. More generally, it can broadly refer to the adaptive adjustment of data proportions for different sources during pre-training. Existing work about data curriculum mainly focuses on continual pre-training, such as specialized coding LLMs (_e.g.,_ CodeLLMa [235]) or long context LLMs (_e.g.,_ LongLLaMA [238]). However, it still lacks of more detailed report about data curriculum for general-purpose LLMs (_e.g.,_ LLaMA) in the literature. To determine data curriculum, a practical approach is to monitor the development of key abilities of LLMs based on specially constructed evaluation benchmarks, and then adaptively adjust the data mixture during pre-training. Next, we take three common abilities as examples to introduce how the concept of data curriculum23 applies in continual pre-training.
**Data Curriculum**. 데이터 혼합물을 준비한 후에는 사전 학습을 위해 특정 데이터를 LLM에 제시하는 순서를 예약하는 것이 중요합니다. 어떤 경우에는 특정 기술을 학습하기 위해 기술 세트 순서(_예:_ 기본 기술 \(\rightarrow\) 목표 기술)로 학습하는 것이 목표 기술에만 초점을 맞춘 코퍼스에서 직접 학습하는 것보다 성능이 뛰어난 것으로 나타났습니다[234, 235]. 커리큘럼 학습 [236]의 아이디어에 따라 모델 사전 학습 [234, 235, 237, 238]에서 _data curriculum_이 제안되고 널리 사용되고 있습니다. 이는 LLM을 위한 사전 학습 데이터의 여러 부분을 특정 순서로 구성하는 것을 목표로 합니다(_예:_ 쉬운/일반적인 예제부터 시작하여 점차 더 어렵고 전문적인 예제를 소개하는 것). 더 일반적으로, 사전 학습 중에 다양한 소스에 대한 데이터 비율을 적응적으로 조정하는 것을 광범위하게 지칭할 수 있습니다. data curriculum에 대한 기존 연구는 주로 전문 코딩 LLM(_예:_ CodeLLMa [235]) 또는 긴 컨텍스트 LLM(_예:_ LongLLaMA [238])과 같은 지속적인 사전 학습에 초점을 맞추고 있습니다. 그러나 일반 목적 LLM(_예:_ LLaMA)에 대한 data curriculum에 대한 보다 자세한 보고서는 아직 문헌에 부족합니다. data curriculum을 결정하기 위한 실용적인 접근 방식은 특별히 구성된 평가 벤치마크를 기반으로 LLM의 주요 능력 개발을 모니터링한 다음 사전 학습 중에 데이터 혼합을 적응적으로 조정하는 것입니다. 다음으로, data curriculum의 개념이 지속적인 사전 학습에 어떻게 적용되는지 소개하기 위해 세 가지 일반적인 능력을 예로 들어 보겠습니다.
**데이터 커리큘럼**. 데이터 혼합물을 준비한 후에는 사전 학습을 위해 특정 데이터를 LLM에 제시하는 순서를 예약하는 것이 중요합니다. 어떤 경우에는 특정 기술을 학습하기 위해 기술 세트 순서(_예:_ 기본 기술 \(\rightarrow\) 목표 기술)로 학습하는 것이 목표 기술에만 초점을 맞춘 코퍼스에서 직접 학습하는 것보다 성능이 뛰어난 것으로 나타났습니다[234, 235]. 커리큘럼 학습 [236]의 아이디어에 따라 모델 사전 학습 [234, 235, 237, 238]에서 _데이터 커리큘럼_이 제안되고 널리 사용되고 있습니다. 이는 LLM을 위한 사전 학습 데이터의 여러 부분을 특정 순서로 구성하는 것을 목표로 합니다(_예:_ 쉬운/일반적인 예제부터 시작하여 점차 더 어렵고 전문적인 예제를 소개하는 것). 더 일반적으로, 사전 학습 중에 다양한 소스에 대한 데이터 비율을 적응적으로 조정하는 것을 광범위하게 지칭할 수 있습니다. 데이터 커리큘럼에 대한 기존 연구는 주로 전문 코딩 LLM(_예:_ CodeLLMa [235]) 또는 긴 컨텍스트 LLM(_예:_ LongLLaMA [238])과 같은 지속적인 사전 학습에 초점을 맞추고 있습니다. 그러나 일반 목적 LLM(_예:_ LLaMA)에 대한 데이터 커리큘럼에 대한 보다 자세한 보고서는 아직 문헌에 부족합니다. 데이터 커리큘럼을 결정하기 위한 실용적인 접근 방식은 특별히 구성된 평가 벤치마크를 기반으로 LLM의 주요 능력 개발을 모니터링한 다음 사전 학습 중에 데이터 혼합을 적응적으로 조정하는 것입니다. 다음으로, 데이터 커리큘럼23의 개념이 지속적인 사전 학습에 어떻게 적용되는지 소개하기 위해 세 가지 일반적인 능력을 예로 들어 보겠습니다.