To evaluate _WizardLM_, we conduct human evaluation on our _Evol-Instruct_ testset. We perform a blind pairwise comparison between _WizardLM_ and baselines. Specifically, we recruit 10 well-educated annotators. To each annotator, four responses from Alpaca, Vicuna-7b, _WizardLM_ and ChatGPT are presented, which are randomly shuffled to hide their sources. The annotators then judge which response is better following criterion in Appendix H. Then they should rank the four responses from 1 to 5 (1 means best), and allowing equal scores for comparable instances. To estimate the win rate, we compare the frequency of win, lost, and tie between each pair of models.
마법사LM_을 평가하기 위해 _Evol-Instruct_ 테스트 세트에 대한 인간 평가를 수행합니다. _WizardLM_과 baseline 간의 블라인드 쌍별 비교를 수행합니다. 구체적으로, 교육을 잘 받은 10명의 주관자를 모집합니다. 각 주관자에게 Alpaca, Vicuna-7b, _WizardLM_ 및 ChatGPT의 응답 4개가 무작위로 섞여 소스를 숨깁니다. 그런 다음 주관자는 부록 H의 기준에 따라 어떤 응답이 더 나은지 판단합니다. 그런 다음 네 개의 응답을 1에서 5까지 순위를 매기고(1은 최고를 의미함), 비슷한 인스턴스에 대해 동점을 허용합니다. 승률을 추정하기 위해 각 모델 쌍 간의 승, 패, 무승부 빈도를 비교합니다.
마법사LM_을 평가하기 위해 _Evol-Instruct_ 테스트 세트에 대한 인간 평가를 수행합니다. 마법사LM_과 베이스라인 간의 블라인드 쌍별 비교를 수행합니다. 구체적으로, 교육을 잘 받은 10명의 주관자를 모집합니다. 각 주관자에게 알파카, 비쿠나-7b, _WizardLM_ 및 ChatGPT의 응답 4개가 무작위로 섞여 소스를 숨깁니다. 그런 다음 주관자는 부록 H의 기준에 따라 어떤 응답이 더 나은지 판단합니다. 그런 다음 네 개의 응답을 1에서 5까지 순위를 매기고(1은 최고를 의미함), 비슷한 인스턴스에 대해 동점을 허용합니다. 승률을 추정하기 위해 각 모델 쌍 간의 승, 패, 무승부 빈도를 비교합니다.