In total, our Tables dataset (Faithfulness Annotations for Book-Length Summarization) contains **3,158** claim-level annotations of faithfulness across **26** narrative texts, along with evidence for each claim in the form of quotations from the book as well as free-form comments at both the claim and summary level (Figure 1).1 Overall, we observe that Claude-3-Opus is the most faithful book-length summarizer by a significant margin, followed by GPT-4-Turbo.
총 26개의 내러티브 텍스트에 걸쳐 **3,158개의** 주장 수준 충실도 주석과 함께 각 주장에 대한 증거(책에서 인용한 내용과 주장 및 요약 수준의 자유 형식 댓글)가 포함된 Tables 데이터 세트(Faithfulness Annotations for Book-Length Summarization)를 제공합니다(그림 1).1 전체적으로 Claude-3-Opus가 가장 충실한 장편 요약기이며, 그 다음으로 GPT-4-Turbo가 가장 충실한 것으로 관찰되었습니다.
총 26개의 내러티브 텍스트에 걸쳐 **3,158개의** 주장 수준 충실도 주석과 함께 각 주장에 대한 증거(책에서 인용한 내용과 주장 및 요약 수준의 자유 형식 댓글)가 포함된 표 데이터 세트(장편 요약에 대한 충실도 주석)를 제공합니다(그림 1).1 전체적으로 클로드-3-오퍼스가 가장 충실한 장편 요약기이며, 그 다음으로 GPT-4-터보가 가장 충실한 것으로 관찰되었습니다.