Conclusion:Despite it having the best performance in Table 5, Claude-3-Opus ultimately performs too poorly to be a reliable auto-rater (47.5 F1 when classifying _Unt faithful_ claims). This comes as a surprise as this pattern of decompose-then-verify has been shown to correlate with human judgments in other settings, like Min et al. (2023). Manual analysis of the errors reveals that Claude-3-Opus struggles most with claims involving non-narrative information (23.1%), assessments often based on common sense reasoning (20.5%), and character confusions (12.8%), which often require a deep understanding of the entire book; see confusion matrix in Figure 10 and examples in Figure 3. Qualitatively, we can also gauge from annotator comments (Table 4) the difficulty of this claim verification task as evidence may be difficult to localize (in "needle-in-the-haystack" manner) and require full document reasoning.
결론: 표 5에서 가장 우수한 성능을 보였지만, Claude-3-Opus는 궁극적으로 신뢰할 수 있는 자동 평가자로서의 성능이 너무 떨어집니다(Unt faithful_ 클래스를 분류할 때 F1 47.5). 이러한 decompose-then-verify 패턴이 Min 등(2023)과 같은 다른 환경에서도 인간의 판단과 상관관계가 있는 것으로 나타났기 때문에 놀라운 결과입니다. 오류를 수동으로 분석한 결과, Claude-3-Opus는 비내러티브 정보(23.1%), 상식적인 추론에 기반한 평가(20.5%), 문자 혼동(12.8%)이 포함된 주장을 처리하는 데 가장 어려움을 겪는 것으로 나타났으며, 이는 종종 전체 책에 대한 깊은 이해가 필요한 경우가 많습니다. 그림 10의 혼동 행렬과 그림 3의 예시를 참조하세요. 또한 주석 작성자의 의견(표 4)을 통해 이러한 claim verification 작업의 난이도를 정성적으로 파악할 수 있는데, 증거를 현장에 국한시키기 어렵고 전체 문서 reasoning이 필요할 수 있기 때문입니다.
결론: 표 5에서 가장 우수한 성능을 보였지만, 클로드-3-오퍼스는 궁극적으로 신뢰할 수 있는 자동 평가자로서의 성능이 너무 떨어집니다(Unt faithful_ 클래스를 분류할 때 F1 47.5). 이러한 분해-검증 패턴이 Min 등(2023)과 같은 다른 환경에서도 인간의 판단과 상관관계가 있는 것으로 나타났기 때문에 놀라운 결과입니다. 오류를 수동으로 분석한 결과, 클로드-3-오퍼스는 비내러티브 정보(23.1%), 상식적인 추론에 기반한 평가(20.5%), 문자 혼동(12.8%)이 포함된 주장을 처리하는 데 가장 어려움을 겪는 것으로 나타났으며, 이는 종종 전체 책에 대한 깊은 이해가 필요한 경우가 많습니다. 그림 10의 혼동 행렬과 그림 3의 예시를 참조하세요. 또한 주석 작성자의 의견(표 4)을 통해 이러한 클레임 검증 작업의 난이도를 정성적으로 파악할 수 있는데, 증거를 현장에 국한시키기 어렵고 전체 문서 추론이 필요할 수 있기 때문입니다.