After data preprocessing, it is essential to design suitable strategies to schedule these multi-source data for pre-training a capable LLM. Generally, two key aspects should be paid close attention for data scheduling: the proportion of each data source (_data mixture_), and the order in which each data source is scheduled for training (_data curriculum_). Next, we discuss the two aspects in detail. An illustration of data scheduling has been presented in Figure 8.
데이터 전처리를 마친 후에는 능력 있는 LLM을 사전 학습하기 위해 이러한 다중 소스 데이터를 예약하기 위한 적절한 전략을 설계하는 것이 필수적입니다. 일반적으로 데이터 스케줄링에는 두 가지 주요 측면, 즉 각 데이터 소스의 비율(_data mixture_)과 각 데이터 소스가 학습에 예약되는 순서(_data curriculum_)에 세심한 주의를 기울여야 합니다. 다음에서는 두 가지 측면에 대해 자세히 설명합니다. 데이터 스케줄링의 예는 그림 8에 나와 있습니다.
데이터 전처리를 마친 후에는 능력 있는 LLM을 사전 학습하기 위해 이러한 다중 소스 데이터를 예약하기 위한 적절한 전략을 설계하는 것이 필수적입니다. 일반적으로 데이터 스케줄링에는 두 가지 주요 측면, 즉 각 데이터 소스의 비율(_데이터 혼합_)과 각 데이터 소스가 학습에 예약되는 순서(_데이터 커리큘럼_)에 세심한 주의를 기울여야 합니다. 다음에서는 두 가지 측면에 대해 자세히 설명합니다. 데이터 스케줄링의 예는 그림 8에 나와 있습니다.