\(\bullet\)_A mixture of different kinds of instructions are helpful to improve the comprehensive abilities of LLMs._ After mixing the three kinds of instructions for fine-tuning, we can see that the derived LLaMA variant (with FLAN-T5, ShareGPT and Self-Instruct-52K) performs well in both task settings. In MMLU, the performance of LLaMA (7B) can surpass the ones using individual instruction set by a large margin, _i.e._, 43.69 vs. 38.58 (FLAN-T5). It shows that mixing multiple sources of instruction datasets is helpful to improve the performance of instruction-tuned LLMs, which scales the instruction number as well as increases the diversity.
\(\bullet\)_다양한 종류의 instructions을 혼합하면 LLM의 종합적인 능력을 향상시키는 데 도움이 됩니다._ 세 가지 종류의 instructions을 혼합하여 Fine-tuning한 후, 파생된 LLaMA 변형(FLAN-T5, ShareGPT 및 Self-Instruct-52K)이 두 가지 작업 설정 모두에서 우수한 성능을 발휘하는 것을 확인할 수 있습니다. MMLU에서 LLaMA(7B)의 성능은 개별 instruction 세트를 사용하는 것보다 훨씬 큰 폭으로 뛰어날 수 있습니다, 즉 43.69 대 38.58(FLAN-T5)입니다. 이는 instruction 수를 늘리고 다양성을 높일 수 있는 여러 소스의 instruction 데이터 세트를 혼합하는 것이 instruction-tuned LLM의 성능을 향상시키는 데 도움이 된다는 것을 보여줍니다.
\(\bullet\)_다양한 종류의 지침을 혼합하면 LLM의 종합적인 능력을 향상시키는 데 도움이 됩니다._ 세 가지 종류의 지침을 혼합하여 미세 조정한 후, 파생된 LLaMA 변형(FLAN-T5, ShareGPT 및 Self-Instruct-52K)이 두 가지 작업 설정 모두에서 우수한 성능을 발휘하는 것을 확인할 수 있습니다. MMLU에서 LLaMA(7B)의 성능은 개별 명령어 세트를 사용하는 것보다 훨씬 큰 폭으로 뛰어날 수 있습니다, 즉 43.69 대 38.58(FLAN-T5)입니다. 이는 명령어 수를 늘리고 다양성을 높일 수 있는 여러 소스의 명령어 데이터 세트를 혼합하는 것이 명령어 튜닝된 LLM의 성능을 향상시키는 데 도움이 된다는 것을 보여줍니다.