data sources and model abilities. To enhance specific skills such as mathematics and coding in LLMs, or to develop specialized LLMs, a practical way is to employ a multi-stage training approach, _e.g.,_ general and skill-specific data can be scheduled at two consecutive stages. This approach of training LLMs on varying sources or proportions of data across multiple stages is also known as "data curriculum", which will be introduced below.
데이터 소스와 모델 능력. 수학 및 코딩과 같은 특정 기술을 LLM에서 향상시키거나 전문 LLM을 개발하기 위해서는 일반 데이터와 기술별 데이터를 연속된 두 단계로 나누는 등 다단계 훈련 방식을 사용하는 것이 실용적입니다. 이러한 다단계 훈련 방식은 "data curriculum"이라고도 하며, 아래에서 소개할 예정입니다.
데이터 소스와 모델 능력. 수학 및 코딩과 같은 특정 기술을 LLM에서 향상시키거나 전문 LLM을 개발하기 위해서는 일반 데이터와 기술별 데이터를 연속된 두 단계로 나누는 등 다단계 훈련 방식을 사용하는 것이 실용적입니다. 이러한 다단계 훈련 방식은 "데이터 커리큘럼"이라고도 하며, 아래에서 소개할 예정입니다.