After pre-training, instruction tuning (_a.k.a._, supervised fine-tuning) is an important method to enhance or unlock specific abilities of LLMs (_e.g._, instruction following). In this part, we introduce several widely used datasets for instruction tuning, and categorize them into three main types based on the construction method of formatted instruction instances, namely NLP task datasets, daily chat datasets and synthetic datasets. We show their details in Table III.
사전 학습 후 Instruction Tuning('_a.k.a._', Supervised Fine-tuning)은 LLM의 특정 능력(예: Instruction 수행)을 향상시키거나 해제하는 중요한 방법입니다. 이 부분에서는 Instruction Tuning에 널리 사용되는 몇 가지 데이터 세트를 소개하고, 형식화된 Instruction 인스턴스의 구성 방법에 따라 NLP 작업 데이터 세트, 일상 대화 데이터 세트, 합성 데이터 세트의 세 가지 주요 유형으로 분류합니다. 세부 사항은 표 III에 나와 있습니다.
사전 학습 후 지침 튜닝('_a.k.a._', 지도 미세 조정)은 LLM의 특정 능력(예: 지침 수행)을 향상시키거나 해제하는 중요한 방법입니다. 이 부분에서는 지침 튜닝에 널리 사용되는 몇 가지 데이터 세트를 소개하고, 형식화된 지침 인스턴스의 구성 방법에 따라 NLP 작업 데이터 세트, 일상 대화 데이터 세트, 합성 데이터 세트의 세 가지 주요 유형으로 분류합니다. 세부 사항은 표 III에 나와 있습니다.