Instruction tuning aims to train large language models to generate responses that align with input instructions, thereby enable LLMs with conversational and task execution capabilities. Compared with standard LLM, SFT allows the behavior of the model to be more controllable and predictable, thereby achieving the purpose of aligning human will. Methods to build instruction tuning datasets include: (1) Pure manual annotation Conover et al. (2023). This method completely constructs instructions and answers manually, which is very time-consuming and laborious; (2) Converted from existing datasets Mishra et al. (2022); Sanh et al. (2022); Chung et al. (2022). Some studies use supervised data sets from NLP tasks to construct instruction tuning data; (3) Automatically generated using LLM Honovich et al. (2022); Wang et al. (2023); Xu et al. (2023); Ji et al. (2023); Xu et al. (2023). Others use existing LLMs to generate instruction tuning data. A common practice is to first manually annotate high-quality seed datasets, and then use LLM to expand the seed instructions and corresponding outputs, which can generate large-scale instruction tuning data with very little human annotation. However, the quality cannot be guaranteed and there is a certain amount of noisy data, which can lead to hallucinations.
Instruction tuning은 대규모 언어 모델이 입력 명령에 맞게 응답을 생성하도록 훈련하여 LLM에 대화 및 작업 실행 기능을 부여하는 것을 목표로 합니다. 표준 LLM과 비교하여 Supervised Fine-tuning (SFT)을 사용하면 모델의 동작을 보다 제어할 수 있고 예측할 수 있어 인간의 의지를 조정하는 목적을 달성할 수 있습니다. Instruction tuning 데이터 세트를 구축하는 방법에는 다음이 포함됩니다: (1) 순수한 수동 주석 Conover et al. (2023). 이 방법은 지침과 답변을 완전히 수동으로 구성하는 것으로, 시간과 노동 집약적입니다; (2) 기존 데이터 세트에서 변환 Mishra et al. (2022); Sanh et al. (2022); Chung et al. (2022). 일부 연구에서는 NLP 작업의 지도 데이터 세트를 사용하여 Instruction tuning 데이터를 구성합니다; (3) LLM을 사용하여 자동 생성 Honovich et al. (2022); Wang et al. (2023); Xu et al. (2023); Ji et al. (2023); Xu et al. (2023). 다른 연구에서는 기존 LLM을 사용하여 Instruction tuning 데이터를 생성합니다. 일반적인 방법은 먼저 고품질 시드 데이터 세트에 수동으로 주석을 달은 다음 LLM을 사용하여 시드 명령과 해당 출력을 확장하는 것으로, 사람의 주석이 거의 없어도 대규모 Instruction tuning 데이터를 생성할 수 있습니다. 그러나 품질을 보장할 수 없고 노이즈 데이터가 일정량 존재하여 Hallucination 현상이 발생할 수 있습니다.
명령 튜닝은 대규모 언어 모델이 입력 명령에 맞게 응답을 생성하도록 훈련하여 LLM에 대화 및 작업 실행 기능을 부여하는 것을 목표로 합니다. 표준 LLM과 비교하여 SFT를 사용하면 모델의 동작을 보다 제어할 수 있고 예측할 수 있어 인간의 의지를 조정하는 목적을 달성할 수 있습니다. 명령 튜닝 데이터 세트를 구축하는 방법에는 다음이 포함됩니다: (1) 순수한 수동 주석 Conover et al. (2023). 이 방법은 지침과 답변을 완전히 수동으로 구성하는 것으로, 시간과 노동 집약적입니다; (2) 기존 데이터 세트에서 변환 Mishra et al. (2022); Sanh et al. (2022); Chung et al. (2022). 일부 연구에서는 NLP 작업의 지도 데이터 세트를 사용하여 명령 튜닝 데이터를 구성합니다; (3) LLM을 사용하여 자동 생성 Honovich et al. (2022); Wang et al. (2023); Xu et al. (2023); Ji et al. (2023); Xu et al. (2023). 다른 연구에서는 기존 LLM을 사용하여 명령 튜닝 데이터를 생성합니다. 일반적인 방법은 먼저 고품질 시드 데이터 세트에 수동으로 주석을 달은 다음 LLM을 사용하여 시드 명령과 해당 출력을 확장하는 것으로, 사람의 주석이 거의 없어도 대규모 명령 튜닝 데이터를 생성할 수 있습니다. 그러나 품질을 보장할 수 없고 노이즈 데이터가 일정량 존재하여 환각 현상이 발생할 수 있습니다.