**Task Generalization.** Instruction tuning encourages the model to understand natural language instructions for task completion. It endows LLMs with the ability (often considered as an emergent ability) to follow human instructions [31] to perform specific tasks without demonstrations, even on unseen tasks [69]. A large number of studies have confirmed the effectiveness of instruction tuning to achieve superior performance on both seen and unseen tasks [95, 345]. Also, instruction tuning has been shown to be useful in alleviating several weaknesses of LLMs (_e.g._, repetitive generation or complementing the input without accomplishing a certain task) [66, 69], leading to a superior capacity to solve real-world tasks for LLMs. Furthermore, LLMs trained with instruction tuning can generalize to related tasks across languages. For example, BLOOMZ-P3 [94] is fine-tuned based on BLOOM [78] using English-only task collection P3 [167]. Interestingly, BLOOMZ-P3 can achieve a more than 50% improvement in multilingual sentence completion tasks compared to BLOOM, which shows that instruction tuning can help LLMs acquire general task skills from English-only datasets and transfer such skills into other languages [94]. In addition, it has been found that using English-only instructions can produce satisfactory results on multilingual tasks [94], which helps reduce the effort of instruction engineering for a specific language.
**작업 일반화**. Instruction Tuning은 모델이 작업 완료를 위한 자연어 명령어를 이해하도록 장려합니다. 이를 통해 LLM은 시연 없이도 보이지 않는 작업에서도 특정 작업을 수행하기 위해 [31] 인간의 지시를 따르는 능력(종종 출현하는 능력으로 간주됨)을 갖추게 됩니다[69]. 많은 연구에서 Instruction Tuning이 보이는 작업과 보이지 않는 작업 모두에서 우수한 성능을 달성하는 데 효과적이라는 것이 확인되었습니다[95, 345]. 또한 Instruction Tuning은 LLM의 몇 가지 약점(_예: 반복적인 생성 또는 특정 작업을 수행하지 않고 입력을 보완하는 것)을 완화하는 데 유용한 것으로 나타났습니다[66, 69], 이를 통해 LLM의 실제 작업 해결 능력이 향상되었습니다. 또한 Instruction Tuning으로 훈련된 LLM은 언어 간 관련 작업으로 일반화할 수 있습니다. 예를 들어, BLOOMZ-P3 [94]는 영어 전용 작업 수집 P3 [167]을 사용하여 BLOOM [78]을 기반으로 Fine-tuning합니다. 흥미롭게도 BLOOMZ-P3는 BLOOM에 비해 다국어 문장 완성 작업에서 50% 이상의 향상을 달성할 수 있으며, 이는 Instruction Tuning이 LLM이 영어 전용 데이터 세트에서 일반적인 작업 기술을 습득하고 이러한 기술을 다른 언어로 전송하는 데 도움이 될 수 있음을 보여줍니다[94]. 또한 영어 전용 명령어를 사용하면 다국어 작업에서도 만족스러운 결과를 얻을 수 있는 것으로 나타났으며[94], 이는 특정 언어에 대한 Instruction 엔지니어링의 노력을 줄이는 데 도움이 됩니다.
**작업 일반화**. 명령어 튜닝은 모델이 작업 완료를 위한 자연어 명령어를 이해하도록 장려합니다. 이를 통해 LLM은 시연 없이도 보이지 않는 작업에서도 특정 작업을 수행하기 위해 [31] 인간의 지시를 따르는 능력(종종 출현하는 능력으로 간주됨)을 갖추게 됩니다[69]. 많은 연구에서 명령어 튜닝이 보이는 작업과 보이지 않는 작업 모두에서 우수한 성능을 달성하는 데 효과적이라는 것이 확인되었습니다[95, 345]. 또한 명령어 튜닝은 LLM의 몇 가지 약점(_예: 반복적인 생성 또는 특정 작업을 수행하지 않고 입력을 보완하는 것)을 완화하는 데 유용한 것으로 나타났습니다[66, 69], 이를 통해 LLM의 실제 작업 해결 능력이 향상되었습니다. 또한 명령어 튜닝으로 훈련된 LLM은 언어 간 관련 작업으로 일반화할 수 있습니다. 예를 들어, BLOOMZ-P3 [94]는 영어 전용 작업 수집 P3 [167]을 사용하여 BLOOM [78]을 기반으로 미세 조정합니다. 흥미롭게도 BLOOMZ-P3는 BLOOM에 비해 다국어 문장 완성 작업에서 50% 이상의 향상을 달성할 수 있으며, 이는 명령어 튜닝이 LLM이 영어 전용 데이터 세트에서 일반적인 작업 기술을 습득하고 이러한 기술을 다른 언어로 전송하는 데 도움이 될 수 있음을 보여줍니다[94]. 또한 영어 전용 명령어를 사용하면 다국어 작업에서도 만족스러운 결과를 얻을 수 있는 것으로 나타났으며[94], 이는 특정 언어에 대한 명령어 엔지니어링의 노력을 줄이는 데 도움이 됩니다.