Human evaluation setup.Evaluating models' performance on this evaluation set of diverse tasks is extremely challenging because different tasks require different expertise. Indeed, many of these tasks cannot be measured by automatic metrics or even be judged by normal crowdworkers (e.g., writing a program, or converting first-order logic into natural language). To get a more faithful evaluation, we asked the authors of the instructions to judge model predictions. Details on how we set up this human evaluation are described in Appendix B. The evaluators were asked to rate the output based on whether it accurately and effectively completes the task.
사람 평가 설정. 다양한 작업에 대한 이 평가 세트에서 모델의 성능을 평가하는 것은 매우 도전적입니다. 왜냐하면 서로 다른 작업이 서로 다른 전문 지식을 요구하기 때문입니다. 실제로, 이러한 작업 중 많은 부분은 자동화된 지표로 측정할 수 없거나 일반적인 크라우드워커가 판단할 수 없습니다 (예: 프로그램 작성, 일차 논리를 자연어로 변환). 보다 신뢰할 수 있는 평가를 얻기 위해, 우리는 지침 작성자들에게 모델 예측을 평가하도록 요청했습니다. 이 사람 평가를 어떻게 설정했는지에 대한 자세한 내용은 부록 B에 설명되어 있습니다. 평가자들은 출력물이 작업을 정확하고 효과적으로 완료했는지 여부를 기준으로 평가하도록 요청받았습니다.
인간 평가 설정.다양한 작업을 평가하는 모델의 성능을 평가하는 것은 매우 어려운 작업입니다. 왜냐하면 작업마다 필요한 전문 지식이 다르기 때문입니다. 실제로 이러한 작업 중 상당수는 자동 메트릭으로 측정할 수 없으며 일반 크라우드워커가 판단할 수도 없습니다(예: 프로그램 작성 또는 일차 논리를 자연어로 변환). 보다 충실한 평가를 위해 지침 작성자에게 모델 예측을 판단하도록 요청했습니다. 이 인간 평가를 설정한 방법에 대한 자세한 내용은 부록 B에 설명되어 있습니다. 평가자들은 작업을 정확하고 효과적으로 완료했는지 여부에 따라 결과물을 평가하도록 요청받았습니다.