\(\bullet\)_Instruction-tuned models mostly perform better than the base models._ Among all the compared open-source methods, the instruction-tuned models (_i.e.,_ LLaMA 2-Chat, Vicuna, Alpaca and ChatGLM) mostly perform better than non-instruction-tuned models (_i.e.,_ LLaMA 2, LLaMA, Pythia and Falcon). It indicates that instruction tuning is generally capable of improving the few-shot or zero-shot ability of LLMs in solving various tasks. However, after instruction tuning, Vicuna (7B) and Alpaca (7B) suffer from performance degradations on LAMBADA, a language modeling task. The reason may be that the instruction data mainly focuses on enabling LLMs to follow human instructions, which is not always useful for the general language generation task.
\(\bullet\)_Instruction-tuned models mostly perform better than the base models._ 비교된 모든 오픈 소스 방법 중에서 Instruction-tuned models (_즉, LLaMA 2-Chat, Vicuna, Alpaca 및 ChatGLM)이 non-instruction-tuned models (_즉, LLaMA 2, LLaMA, Pythia 및 Falcon)보다 대부분 더 나은 성능을 보입니다. 이는 Instruction Tuning이 일반적으로 다양한 작업을 해결하는 데 있어 LLM의 few-shot 또는 zero-shot 능력을 향상시킬 수 있음을 나타냅니다. 그러나 Instruction Tuning 후 Vicuna(7B)와 Alpaca(7B)는 언어 모델링 작업인 LAMBADA에서 성능 저하를 겪었습니다. 그 이유는 Instruction 데이터가 주로 LLM이 인간의 지시를 따르도록 하는 데 중점을 두기 때문에 일반적인 언어 생성 작업에는 항상 유용하지 않을 수 있습니다.
\(\bullet\)_명령어에 맞춤화된 모델은 대부분 기본 모델보다 성능이 우수합니다._ 비교된 모든 오픈 소스 방법 중에서 명령어에 맞춤화된 모델(_즉, LLaMA 2-Chat, Vicuna, Alpaca 및 ChatGLM)이 명령어에 맞춤화되지 않은 모델(_즉, LLaMA 2, LLaMA, Pythia 및 Falcon)보다 대부분 더 나은 성능을 보입니다. 이는 명령어 튜닝이 일반적으로 다양한 작업을 해결하는 데 있어 LLM의 몇 번의 샷 또는 제로 샷 능력을 향상시킬 수 있음을 나타냅니다. 그러나 명령어 튜닝 후 Vicuna(7B)와 Alpaca(7B)는 언어 모델링 작업인 LAMBADA에서 성능 저하를 겪었습니다. 그 이유는 명령어 데이터가 주로 LLM이 인간의 지시를 따르도록 하는 데 중점을 두기 때문에 일반적인 언어 생성 작업에는 항상 유용하지 않을 수 있습니다.