**Multi-stage Instruction Tuning.** For instruction tuning, there are two kinds of important instruction data, namely task-formatted instructions and daily chat instructions. Generally, the former has a significantly larger volume than the latter. It is important to balance the training with the two kinds of instruction data. In addition to carefully mixing different instruction data, we can also adopt a multi-stage instruction tuning strategy [352], where LLMs are first fine-tuned with large-scale task-formatted instructions and subsequently fine-tuned on daily chat ones. To avoid the capacity forgetting issue, it is also useful to add an amount of task-formatted instructions at the second stage. Actually, such a multi-stage tuning strategy can be also applied to other settings for instruction tuning. For example, we can schedule different fine-tuning stages with progressively increased levels on difficulty and complexity, and gradually improve the capacities of LLMs to follow complex instructions.
**Multi-stage Instruction Tuning**. Instruction Tuning에는 작업 형식의 instruction과 일상적인 채팅 instruction이라는 두 가지 중요한 instruction 데이터가 있습니다. 일반적으로 전자의 양이 후자보다 훨씬 많습니다. 두 종류의 instruction 데이터로 훈련의 균형을 맞추는 것이 중요합니다. 다양한 instruction 데이터를 신중하게 혼합하는 것 외에도, LLM을 먼저 대규모 작업 형식의 instruction으로 Fine-tuning한 다음 일상적인 채팅 instruction으로 Fine-tuning하는 Multi-stage Instruction Tuning 전략[352]을 채택할 수도 있습니다. 용량 잊어버림 문제를 피하기 위해 두 번째 단계에서 작업 형식의 instruction을 일정량 추가하는 것도 유용합니다. 실제로 이러한 Multi-stage Tuning 전략은 Instruction Tuning을 위한 다른 설정에도 적용할 수 있습니다. 예를 들어, 점차 난이도와 복잡도를 높인 다양한 Fine-tuning 단계를 계획하고 복잡한 instruction을 따르는 LLM의 역량을 점진적으로 개선할 수 있습니다.
**다단계 명령어 튜닝**. 명령어 튜닝에는 작업 형식의 명령어와 일상적인 채팅 명령어라는 두 가지 중요한 명령어 데이터가 있습니다. 일반적으로 전자의 양이 후자보다 훨씬 많습니다. 두 종류의 명령어 데이터로 훈련의 균형을 맞추는 것이 중요합니다. 다양한 명령어 데이터를 신중하게 혼합하는 것 외에도, LLM을 먼저 대규모 작업 형식의 명령어로 미세 조정한 다음 일상적인 채팅 명령어로 미세 조정하는 다단계 명령어 튜닝 전략[352]을 채택할 수도 있습니다. 용량 잊어버림 문제를 피하기 위해 두 번째 단계에서 작업 형식의 명령어를 일정량 추가하는 것도 유용합니다. 실제로 이러한 다단계 튜닝 전략은 명령어 튜닝을 위한 다른 설정에도 적용할 수 있습니다. 예를 들어, 점차 난이도와 복잡도를 높인 다양한 미세 조정 단계를 계획하고 복잡한 명령을 따르는 LLM의 역량을 점진적으로 개선할 수 있습니다.