We present Tables, the first large-scale human evaluation of faithfulness and content selection in book-length summarization. By recruiting annotators who had read recently-published books for enjoyment, we collect 3,158 claim-level faithfulness annotations from LLM-generated summaries of 26 narratives. This allows us to rank LLM summarizers based on faithfulness, revealing that Claude-3-Opus is the most faithful book-length summarizer, followed by GPT-4-Turoo. Next, we experiment with using LLMs for automatic claim verification. Our results expose the limitations of both retrieval and long-context understanding: LLM auto-raters cannot reliably detect _unfaithful_ claims, even when prompted with the full book text. Our analysis shows that unfaithful claims primarily pertain to states and events, often necessitating reasoning over extended contexts, which makes them complicated to detect for both humans and machines. Finally, we move beyond faithfulness to explore and characterize common content selection errors such as omissions of key events, attributes, and characters, as well as the over-emphasis of content from the end of the book.
우리는 Tables, 책 길이 요약에서 충실도와 콘텐츠 선택에 대한 최초의 대규모 인간 평가를 제시합니다. 최근에 출간된 책을 재미로 읽은 적이 있는 주석가들을 모집하여 26개의 내러티브에 대한 LLM 생성 요약에서 3,158개의 claim-level faithfulness 주석을 수집했습니다. 이를 통해 충실도를 기준으로 LLM summarizer를 순위를 매길 수 있으며, Claude-3-Opus가 가장 충실한 책 길이 요약기이며 그다음이 GPT-4-Turoo인 것으로 나타났습니다. 다음으로, LLM을 자동 claim 검증에 사용하는 실험을 수행했습니다. 그 결과 retrieval과 long-context understanding 모두의 한계를 드러냈습니다. LLM auto-rater는 책 전체 텍스트를 prompt하더라도 _unfaithful_ claim을 안정적으로 감지할 수 없습니다. 분석 결과, unfaithful claim은 주로 상태 및 사건과 관련이 있으며, 종종 확장된 컨텍스트에 대한 추론이 필요하기 때문에 사람과 기계 모두에서 감지하기 어렵다는 것을 알 수 있었습니다. 마지막으로, 충실도를 넘어 핵심 사건, 속성, 인물의 누락, 책 마지막 부분의 내용에 대한 지나친 강조와 같은 일반적인 콘텐츠 선택 오류를 탐색하고 특성화합니다.
우리는 최근에 출간된 책을 재미로 읽은 적이 있는 주석가들을 모집하여 26개의 내러티브에 대한 LLM 생성 요약에서 3,158개의 클레임 수준 충실도 주석을 수집했습니다. 이를 통해 충실도를 기준으로 LLM 요약기를 순위를 매길 수 있으며, 클로드-3-오퍼스가 가장 충실한 장편 요약기이며 그다음이 GPT-4-투루인 것으로 나타났습니다. 다음으로, LLM을 자동 클레임 검증에 사용하는 실험을 수행했습니다. 그 결과 검색과 긴 문맥 이해 모두의 한계를 드러냈습니다. LLM 자동 평가자는 책 전체 텍스트를 프롬프트하더라도 _불충실한_ 클레임을 안정적으로 감지할 수 없습니다. 분석 결과, 불충실한 클레임은 주로 상태 및 사건과 관련이 있으며, 종종 확장된 컨텍스트에 대한 추론이 필요하기 때문에 사람과 기계 모두에서 감지하기 어렵다는 것을 알 수 있었습니다. 마지막으로, 충실도를 넘어 핵심 사건, 속성, 인물의 누락, 책 마지막 부분의 내용에 대한 지나친 강조와 같은 일반적인 콘텐츠 선택 오류를 탐색하고 특성화합니다.