\(\bullet\)_Task-formatted instructions are more proper for the QA setting, but may not be useful for the chat setting._ By comparing the performance of instruction tuning using FLAN-T5 with that of ShareGPT and Self-Instruct-52K, we can observe that FLAN-T5 mostly achieves a better performance on QA benchmarks while underperforms ShareGPT on the chat setting. The reason is that FLAN-T5 is composed of a mixture of instructions and examples from existing NLP tasks, _e.g._, translation and reading comprehension. As a result, LLaMA fine-tuned with FLAN-T5 performs better on QA tasks, but poorly on user queries. In contrast, ShareGPT consists of real-world human-ChatGPT conversations, which is able to better elicit LLaMA to follow user instructions in daily life, while may not be suitable for accomplishing the QA tasks.
\(\bullet\)_작업 형식의 instructions가 QA 설정에 더 적합하지만 채팅 설정에는 유용하지 않을 수 있습니다._ FLAN-T5를 사용한 Instruction Tuning의 성능을 ShareGPT 및 Self-Instruct-52K의 성능과 비교하면, FLAN-T5는 대부분 QA 벤치마크에서 더 나은 성능을 달성하는 반면 채팅 설정에서는 ShareGPT보다 성능이 떨어지는 것을 관찰할 수 있습니다. 그 이유는 FLAN-T5가 번역 및 독해와 같은 기존 NLP 작업의 instructions와 예제가 혼합되어 있기 때문입니다. 결과적으로 FLAN-T5로 Fine-tuning된 LLaMA는 QA 작업에서는 더 나은 성능을 보이지만 사용자 쿼리에서는 성능이 저조합니다. 반면, ShareGPT는 실제 인간과 ChatGPT의 대화로 구성되어 일상 생활에서 사용자의 instructions를 더 잘 따르도록 LLaMA를 유도할 수 있지만 QA 작업을 수행하는 데는 적합하지 않을 수 있습니다.
\(\bullet\)_작업 형식의 지침이 QA 설정에 더 적합하지만 채팅 설정에는 유용하지 않을 수 있습니다._ FLAN-T5를 사용한 지침 튜닝의 성능을 ShareGPT 및 Self-Instruct-52K의 성능과 비교하면, FLAN-T5는 대부분 QA 벤치마크에서 더 나은 성능을 달성하는 반면 채팅 설정에서는 ShareGPT보다 성능이 떨어지는 것을 관찰할 수 있습니다. 그 이유는 FLAN-T5가 번역 및 독해와 같은 기존 NLP 작업의 지침과 예제가 혼합되어 있기 때문입니다. 결과적으로 FLAN-T5로 미세 조정된 LLaMA는 QA 작업에서는 더 나은 성능을 보이지만 사용자 쿼리에서는 성능이 저조합니다. 반면, ShareGPT는 실제 인간과 ChatGPT의 대화로 구성되어 일상 생활에서 사용자의 지시를 더 잘 따르도록 LLaMA를 유도할 수 있지만 QA 작업을 수행하는 데는 적합하지 않을 수 있습니다.