In this section, we present results from our statistical and qualitative analysis of the 3,158 claim-level faithfulness annotations in Fables, which include both free-form comments and citation evidence to support or refute these claims.6 Broadly, we observe that Claude-3-Opus is the most faithful LLM summarizer, with 90% of its claims rated as faithful, followed by GPT-4 and GPT-4-Turbo at 78%, GPT-3.5-Turbo at 72%, and Mixtral at 70% (Table 2).
이 섹션에서는 이러한 주장을 뒷받침하거나 반박하기 위한 자유 형식의 의견과 인용 증거를 모두 포함하는 Fables의 3,158개 주장 수준 충실도 주석에 대한 통계적 및 정성적 분석 결과를 제시합니다.6 광범위하게 볼 때, Claude-3-Opus가 가장 충실한 LLM 요약기로 90%의 주장이 충실하다고 평가되었으며, 그 다음으로 GPT-4와 GPT-4-Turbo가 78%, GPT-3.5-Turbo가 72%, Mixtral이 70%로 나타났습니다(표 2).
이 섹션에서는 이러한 주장을 뒷받침하거나 반박하기 위한 자유 형식의 의견과 인용 증거를 모두 포함하는 Fables의 3,158개 주장 수준 충실도 주석에 대한 통계적 및 정성적 분석 결과를 제시합니다.6 광범위하게 볼 때, 클로드-3-오퍼스가 가장 충실한 LLM 요약기로 90%의 주장이 충실하다고 평가되었으며, 그 다음으로 GPT-4와 GPT-4-Turbo가 78%, GPT-3.5-Turbo가 72%, 믹스트랄이 70%로 나타났습니다(표 2).