Here we provide more details for the human evaluation described in SS4.4 for rating the models' responses to the 252 user-oriented instructions. To ensure faithful and reliable evaluation, we asked two authors of these instructions (and of this paper) to judge model predictions. These two evaluators coordinated the standards for the 4-level rating system before starting annotation and then each of them rated all the instances independently. They were presented with the instruction, instance input, target output (as a reference), and model responses. Model responses are listed in random order, with all the model information anonymized. Figure 9 provides a screenshot of the annotation interface. The reported performance in this paper is based on the results from one of the evaluators, and the trends from the other evaluator's results are the same.
여기에서는 252개의 사용자 지향 instructions에 대한 모델의 응답을 평가하기 위해 SS4.4에서 설명한 사람의 평가에 대한 자세한 내용을 제공합니다. 충실하고 신뢰할 수 있는 평가를 위해 이러한 instructions(및 이 논문)의 두 저자에게 모델 예측을 판단하도록 요청했습니다. 이 두 명의 평가자는 주석을 시작하기 전에 4단계 등급 시스템에 대한 기준을 조율한 다음 각자가 모든 인스턴스를 독립적으로 평가했습니다. 평가자들은 instruction, 인스턴스 입력, 대상 출력(참조용) 및 모델 응답을 제시받았습니다. 모델 응답은 무작위 순서로 나열되며 모든 모델 정보는 익명으로 처리됩니다. 그림 9는 주석 인터페이스의 스크린샷을 제공합니다. 본 논문에서 보고된 성능은 평가자 중 한 명의 결과를 기반으로 하며, 다른 평가자의 결과에서도 동일한 추세를 보입니다.
여기에서는 252개의 사용자 지향 명령에 대한 모델의 응답을 평가하기 위해 SS4.4에서 설명한 사람의 평가에 대한 자세한 내용을 제공합니다. 충실하고 신뢰할 수 있는 평가를 위해 이러한 지침(및 이 논문)의 두 저자에게 모델 예측을 판단하도록 요청했습니다. 이 두 명의 평가자는 주석을 시작하기 전에 4단계 등급 시스템에 대한 기준을 조율한 다음 각자가 모든 인스턴스를 독립적으로 평가했습니다. 평가자들은 지침, 인스턴스 입력, 대상 출력(참조용) 및 모델 응답을 제시받았습니다. 모델 응답은 무작위 순서로 나열되며 모든 모델 정보는 익명으로 처리됩니다. 그림 9는 주석 인터페이스의 스크린샷을 제공합니다. 본 논문에서 보고된 성능은 평가자 중 한 명의 결과를 기반으로 하며, 다른 평가자의 결과에서도 동일한 추세를 보입니다.