Manual analysis of the GPT-4 predictions.The authors of this paper manually assess randomly sampled 20 instances for each aspect and check if GPT-4 predictions match their assessments given the same instruction, demonstrations, and test instances. We found our assessments show high agreement with GPT-4 predictions, especially for relevance (95%), retrieval necessity (95%), and the degree of support (90%). Agreement was slightly lower in usefulness (80%), mostly due to the disagreement between 1 and 2 or 4 and 5.
GPT-4 예측의 수동 분석. 이 논문의 저자들은 각 측면에 대해 무작위로 샘플링된 20개의 인스턴스를 수동으로 평가하고 동일한 instruction, 데모 및 테스트 인스턴스가 주어졌을 때 GPT-4 예측이 자신의 평가와 일치하는지 확인합니다. 평가 결과, 특히 관련성(95%), retrieval necessity(95%), 지원 정도(90%)에서 GPT-4 예측과 높은 일치도를 보이는 것으로 나타났습니다. 유용성(80%)에서는 일치도가 약간 낮았는데, 이는 대부분 1과 2 또는 4와 5 사이의 의견 불일치 때문이었습니다.
GPT-4 예측의 수동 분석.이 논문의 저자들은 각 측면에 대해 무작위로 샘플링된 20개의 인스턴스를 수동으로 평가하고 동일한 지침, 데모 및 테스트 인스턴스가 주어졌을 때 GPT-4 예측이 자신의 평가와 일치하는지 확인합니다. 평가 결과, 특히 관련성(95%), 검색 필요성(95%), 지원 정도(90%)에서 GPT-4 예측과 높은 일치도를 보이는 것으로 나타났습니다. 유용성(80%)에서는 일치도가 약간 낮았는데, 이는 대부분 1과 2 또는 4와 5 사이의 의견 불일치 때문이었습니다.