\(\bullet\)_Simply increasing the number of instructions may not be that useful, and balancing the difficulty is not always helpful._ As the results shown in Table IX, balancing the difficulty and increasing the number of fine-tuning instructions are not very helpful in our experiments. Especially for scaling the instruction number, it even hurts the performance, _e.g._, a decrease from 29.81 to 26.63 in BBH for LLaMA (7B). It shows that simply scaling the number of synthesized instructions without quality control may not be effective to improve the performance. Furthermore, fine-tuning with the instructions of moderate difficulty also performs well in the chat setting, while slightly decreasing the performance in the QA setting. A possible reason is that we filter complex and hard instructions with large perplexity scores, hurting the model performance in answering complex questions.
\(\bullet\)_단순히 명령어 수를 늘리는 것만으로는 그다지 유용하지 않을 수 있으며, 난이도의 균형을 맞추는 것도 항상 도움이 되는 것은 아닙니다. 표 IX에 표시된 결과에서와 같이 난이도의 균형을 맞추고 Fine-tuning 명령어 수를 늘리는 것은 실험에서 그다지 도움이 되지 않았습니다. 특히 명령어 수를 늘리는 경우, LLaMA(7B)의 경우 BBH에서 29.81에서 26.63으로 감소하는 등 성능에 부정적인 영향을 미치기도 합니다. 이는 품질 관리 없이 합성된 명령어의 수를 단순히 늘리는 것은 성능을 향상시키는 데 효과적이지 않을 수 있음을 보여줍니다. 또한, 적당한 난이도의 명령어로 Fine-tuning하는 경우에도 채팅 설정에서는 성능이 우수하지만 QA 설정에서는 성능이 약간 저하됩니다. 그 이유는 복잡하고 어려운 질문에 대한 답변에서 모델 성능에 영향을 미치는 복잡성 점수가 높은 복잡하고 어려운 명령어를 필터링하기 때문일 수 있습니다.
\(\bullet\)_단순히 명령어 수를 늘리는 것만으로는 그다지 유용하지 않을 수 있으며, 난이도의 균형을 맞추는 것도 항상 도움이 되는 것은 아닙니다.표 IX에 표시된 결과에서와 같이 난이도의 균형을 맞추고 미세 조정 명령어 수를 늘리는 것은 실험에서 그다지 도움이 되지 않았습니다. 특히 명령어 수를 늘리는 경우, LLaMA(7B)의 경우 BBH에서 29.81에서 26.63으로 감소하는 등 성능에 부정적인 영향을 미치기도 합니다. 이는 품질 관리 없이 합성된 명령어의 수를 단순히 늘리는 것은 성능을 향상시키는 데 효과적이지 않을 수 있음을 보여줍니다. 또한, 적당한 난이도의 명령어로 미세 조정하는 경우에도 채팅 설정에서는 성능이 우수하지만 QA 설정에서는 성능이 약간 저하됩니다. 그 이유는 복잡하고 어려운 질문에 대한 답변에서 모델 성능에 영향을 미치는 복잡성 점수가 높은 복잡하고 어려운 명령어를 필터링하기 때문일 수 있습니다.