In essence, instruction tuning is the approach to fine-tuning pre-trained LLMs on a collection of formatted instances in the form of natural language [67], which is highly related to supervised fine-tuning [66] and multi-task prompted training [28]. In order to perform instruction tuning, we first need to collect or construct instruction-formatted instances. Then, we employ these formatted instances to fine-tune LLMs in a supervised learning way (_e.g.,_ training with the sequence-to-sequence loss). After instruction tuning, LLMs can demonstrate superior abilities to generalize to unseen tasks [67, 69, 28], even in a multilingual setting [94].
본질적으로 Instruction Tuning은 자연어 형식의 형식화된 인스턴스 모음에 대해 사전 학습된 LLMs을 Fine-tuning하는 접근 방식입니다[67], 이는 Supervised Fine-tuning[66] 및 multi-task prompted training[28]과 밀접한 관련이 있습니다. Instruction Tuning을 수행하려면 먼저 Instruction 형식의 인스턴스를 수집하거나 구성해야 합니다. 그런 다음 이러한 형식화된 인스턴스를 사용하여 지도 학습 방식(_예:_ sequence-to-sequence Loss로 훈련)으로 LLMs을 Fine-tuning합니다. Instruction Tuning 후 LLMs은 다국어 환경에서도 보이지 않는 작업으로 일반화하는 뛰어난 능력을 보여줄 수 있습니다[94].
본질적으로 명령 튜닝은 자연어 형식의 형식화된 인스턴스 모음에 대해 사전 학습된 LLM을 미세 조정하는 접근 방식입니다[67], 이는 지도 미세 조정[66] 및 다중 작업 프롬프트 학습[28]과 밀접한 관련이 있습니다. 명령 튜닝을 수행하려면 먼저 명령 형식의 인스턴스를 수집하거나 구성해야 합니다. 그런 다음 이러한 형식화된 인스턴스를 사용하여 지도 학습 방식(_예:_ 시퀀스-투-시퀀스 손실로 훈련)으로 LLM을 미세 조정합니다. 명령 튜닝 후 LLM은 다국어 환경에서도 보이지 않는 작업으로 일반화하는 뛰어난 능력을 보여줄 수 있습니다[94].