* **Instructions from _Evol-Instruct_ are superior to the ones from human-created ShareGPT.** When we use the same amount of _Evol-Instruct_ data (i.e., 70k) as Vicuna to fine-tune LLaMA 7B, our model _WizardLM_ significantly outperforms Vicuna, with the win rate of \(12.4\%\) and \(3.8\%\) higher than Vicuna on _Evol-Instruct_ testset and Vicuna's testset respectively on human evaluation. In addition, _WizardLM_ also achieves better response quality than Alpaca and Vicuna on the automatic evaluation of GPT-4. * **Labelers prefer _WizardLM_ outputs over outputs from ChatGPT under complex test instructions.** On _Evol-Instruct_ testset, _WizardLM_ performs worse than ChatGPT, with a win rate \(12.8\%\) lower than ChatGPT (\(28.0\%\) vs. \(40.8\%\)). However, in the high-difficulty section of _Evol-Instruct_ test set (difficulty level \(\geq 8\)), our _WizardLM_ even outperforms ChatGPT, with a win rate \(7.9\%\) larger than ChatGPT (\(42.9\%\) vs. \(35.0\%\)), that is human annotators even prefer the output of our model than ChatGPT on those hard questions. This indicates that _Evol-Instruct_ can significantly improve the ability of LLMs to handle complex instructions.
* **_Evol-Instruct_의 Instructions가 인간이 만든 ShareGPT의 Instructions보다 우수합니다.** Vicuna에 동일한 양의 _Evol-Instruct_ 데이터(즉, 70k)를 사용하여 LLaMA 7B를 Fine-tuning할 때, 우리의 모델인 _WizardLM_은 인간 평가에서 _Evol-Instruct_ 테스트 세트와 Vicuna의 테스트 세트에서 각각 \(12.4\%\), \(3.8\%\) 더 높은 승률로 Vicuna보다 훨씬 뛰어난 성능을 발휘합니다. 또한 _WizardLM_은 GPT-4의 자동 평가에서도 Alpaca와 Vicuna보다 더 나은 응답 품질을 달성합니다. * **레이블러는 복잡한 테스트 Instructions에서 ChatGPT의 출력보다 _WizardLM_ 출력을 선호합니다.** _Evol-Instruct_ 테스트 세트에서 _WizardLM_은 ChatGPT보다 낮은 승률(\(28.0\% 대 40.8\%))로 ChatGPT보다 성능이 떨어집니다. 그러나 _Evol-Instruct_ 테스트 세트의 고난이도 섹션(난이도 \(\geq 8\))에서는 _WizardLM_이 ChatGPT보다 높은 승률(\(42.9\% 대 35.0\%))로 ChatGPT보다 뛰어난 성능을 발휘하여 인간 평가자는 이러한 어려운 질문에 대해 ChatGPT보다 우리 모델의 출력을 선호합니다. 이는 _Evol-Instruct_가 복잡한 Instructions를 처리하는 LLM의 능력을 크게 향상시킬 수 있음을 나타냅니다.
* **Evol-Instruct_의 지침이 인간이 만든 ShareGPT의 지침보다 우수합니다.** Vicuna에 동일한 양의 _Evol-Instruct_ 데이터(즉, 70k)를 사용하여 LLaMA 7B를 미세 조정할 때, 우리의 모델인 _WizardLM_은 인간 평가에서 _Evol-Instruct_ 테스트 세트와 Vicuna의 테스트 세트에서 각각 \(12.4\%\), \(3.8\%\) 더 높은 승률로 Vicuna보다 훨씬 뛰어난 성능을 발휘합니다. 또한 _WizardLM_은 GPT-4의 자동 평가에서도 알파카와 비쿠나보다 더 나은 응답 품질을 달성합니다. * **레이블러는 복잡한 테스트 지침에서 ChatGPT의 출력보다 _WizardLM_ 출력을 선호합니다.** Evol-Instruct_ 테스트 세트에서 _WizardLM_은 ChatGPT보다 낮은 승률(\(28.0\% 대 40.8\%))로 ChatGPT보다 성능이 떨어집니다. 그러나 _Evol-Instruct_ 테스트 세트의 고난이도 섹션(난이도 \(\geq 8\))에서는 _WizardLM_이 ChatGPT보다 높은 승률(\(42.9\% 대 35.0\%))로 ChatGPT보다 뛰어난 성능을 발휘하여 인간 평가자는 이러한 어려운 질문에 대해 ChatGPT보다 우리 모델의 출력을 선호합니다. 이는 _Evol-Instruct_가 복잡한 명령을 처리하는 LLM의 능력을 크게 향상시킬 수 있음을 나타냅니다.