**Performance Improvement.** Despite being tuned on a moderate number of instances, instruction tuning has become an important way to improve or unlock the abilities of LLMs [69]. Recent studies have experimented with language models in multiple scales (ranging from 77M to 540B), showing that the models of different scales can all benefit from instruction tuning [69, 345], yielding improved performance as the parameter scale increases [94]. Further, smaller models with instruction tuning can even perform better than larger models without fine-tuning [28, 69]. Besides the model scale, instruction tuning demonstrates consistent improvements in various model architectures, pre-trainingobjectives, and model adaptation methods [69]. In practice, instruction tuning offers a general approach to enhancing the abilities of existing language models [69] (including small-sized PLMs). Also, it is much less costly than pre-training, since the amount of instruction data required by LLMs is significantly smaller than pre-training data.
**Performance Improvement.** 적당한 수의 인스턴스에서 튜닝되었지만, Instruction Tuning은 LLM의 기능을 개선하거나 활용하는 중요한 방법이 되었습니다[69]. 최근 연구에서는 다양한 규모(77M~540B)의 언어 모델을 실험한 결과, 다양한 규모의 모델이 모두 Instruction Tuning의 혜택을 누릴 수 있으며, 파라미터 규모가 증가함에 따라 성능이 향상되는 것으로 나타났습니다[69, 345]. 또한 Instruction Tuning이 적용된 소규모 모델은 Fine-tuning하지 않은 대규모 모델보다 더 나은 성능을 발휘할 수도 있습니다[28, 69]. 모델 규모 외에도 Instruction Tuning은 다양한 모델 아키텍처, 사전 학습 목표 및 모델 적응 방법에서 일관된 개선 효과를 보여줍니다[69]. 실제로 Instruction Tuning은 기존 언어 모델(소규모 PLM 포함)의 기능을 향상시키는 일반적인 접근 방식을 제공합니다[69]. 또한 Instruction Tuning은 LLM에 필요한 Instruction 데이터의 양이 사전 학습 데이터보다 훨씬 적기 때문에 사전 학습보다 비용이 훨씬 적게 듭니다.
**성능 개선**. 적당한 수의 인스턴스에서 튜닝되었지만, 명령어 튜닝은 LLM의 기능을 개선하거나 활용하는 중요한 방법이 되었습니다[69]. 최근 연구에서는 다양한 규모(77M~540B)의 언어 모델을 실험한 결과, 다양한 규모의 모델이 모두 명령어 튜닝의 혜택을 누릴 수 있으며, 파라미터 규모가 증가함에 따라 성능이 향상되는 것으로 나타났습니다[69, 345]. 또한 명령어 튜닝이 적용된 소규모 모델은 미세 조정하지 않은 대규모 모델보다 더 나은 성능을 발휘할 수도 있습니다[28, 69]. 모델 규모 외에도 명령어 튜닝은 다양한 모델 아키텍처, 사전 학습 목표 및 모델 적응 방법에서 일관된 개선 효과를 보여줍니다[69]. 실제로 명령어 튜닝은 기존 언어 모델(소규모 PLM 포함)의 기능을 향상시키는 일반적인 접근 방식을 제공합니다[69]. 또한 명령어 튜닝은 LLM에 필요한 명령어 데이터의 양이 사전 학습 데이터보다 훨씬 적기 때문에 사전 학습보다 비용이 훨씬 적게 듭니다.