We adopt the automatic evaluation framework based on GPT-4 proposed by Vicuna [22] to assess the performance of chatbot models. We follow the same GPT-4 hyper-parameters, prompt setting and evaluation approach as Vicuna. To mitigate order bias, we alternate the placement of _WizardLM_ and other models in pairwise comparisons: _WizardLM_ is the first for odd ids and second for even ids. As shown in the Figure 4(a) and 4(b), _WizardLM_ outperforms Alpaca-7B and Vicuna-7B on _Evol-Instruct_ testset by a large margin (i.e., 6.2% and 5.8% for Alpaca-7B and Vicuna-7B, respectively), and achieves comparable performance with Vicuna-7B on Vicuna testset.
챗봇 모델의 성능을 평가하기 위해 Vicuna [22]에서 제안한 GPT-4 기반의 자동 평가 프레임워크를 채택합니다. 동일한 GPT-4 hyper-parameters, prompt setting 및 evaluation 접근 방식을 Vicuna와 동일하게 따릅니다. 순서 편향을 완화하기 위해 쌍별 비교에서 _WizardLM_과 다른 모델의 배치를 번갈아 가며, 홀수 아이디의 경우 _WizardLM_이 첫 번째, 짝수 아이디의 경우 두 번째로 배치합니다. 그림 4(a)와 4(b)에서 볼 수 있듯이, _WizardLM_은 _Evol-Instruct_ 테스트 세트에서 Alpaca-7B와 Vicuna-7B보다 큰 격차(즉, 각각 Alpaca-7B와 Vicuna-7B의 경우 6.2% 및 5.8%)로 성능이 뛰어나며, Vicuna 테스트 세트에서 Vicuna-7B와 비슷한 성능을 달성합니다.
챗봇 모델의 성능을 평가하기 위해 Vicuna [22]에서 제안한 GPT-4 기반의 자동 평가 프레임워크를 채택합니다. 동일한 GPT-4 하이퍼 파라미터, 프롬프트 설정 및 평가 접근 방식을 Vicuna와 동일하게 따릅니다. 순서 편향을 완화하기 위해 쌍별 비교에서 _WizardLM_과 다른 모델의 배치를 번갈아 가며, 홀수 아이디의 경우 _WizardLM_이 첫 번째, 짝수 아이디의 경우 두 번째로 배치합니다. 그림 4(a)와 4(b)에서 볼 수 있듯이, _WizardLM_은 _Evol-Instruct_ 테스트 세트에서 Alpaca-7B와 Vicuna-7B보다 큰 격차(즉, 각각 Alpaca-7B와 Vicuna-7B의 경우 6.2% 및 5.8%)로 성능이 뛰어나며, Vicuna 테스트 세트에서 Vicuna-7B와 비슷한 성능을 달성합니다.