While long-context large language models (LLMs) can technically summarize book-length documents (\(>\) 100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect Fables, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mktral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book. We release Fables to spur further research on the evaluation of book-length summarization.
긴 컨텍스트의 Large Language Models (LLMs)은 기술적으로 책 길이의 문서(\(>\) 10만 토큰)를 요약할 수 있지만, 문서의 길이와 복잡성으로 인해 지금까지 충실도와 같은 입력 의존적인 측면에 대한 평가가 금지되어 왔습니다. 이 논문에서는 가상의 책을 생성한 LLM의 요약에 대한 충실도와 내용 선택에 대한 최초의 대규모 인간 평가를 수행합니다. 이 연구는 2023년 또는 2024년에 출판된 책의 요약에 초점을 맞춤으로써 데이터 오염 문제를 완화하고, 비용과 인지 부담을 최소화하기 위해 주석 작업 전에 각 책을 완전히 읽은 주석가를 고용합니다. 5.2만 달러의 비용으로 26권의 책을 요약한 LLM에서 생성된 3,158개의 주장에 대한 주석 데이터 세트인 Fables를 수집하여 충실도를 기준으로 LLM 요약기를 순위를 매길 수 있습니다: Claude-3-Opus는 모든 비공개 LLM보다 훨씬 뛰어난 성능을 발휘하는 반면, 오픈 소스인 Mktral은 GPT-3.5-Turbo와 동등한 수준입니다. 주석을 분석한 결과, 불충실한 주장은 대부분 사건 및 캐릭터 상태와 관련이 있으며, 일반적으로 내러티브에 대한 간접적인 추론이 필요합니다. LLM 기반 자동 평가기는 다른 환경에서 사실성과 일관성에 대해 신뢰할 수 있는 것으로 입증되었지만, 충실도에 대한 여러 LLM 평가기를 구현한 결과 특히 불충실한 주장을 감지하는 데 있어 인간의 주석과 강한 상관관계가 없는 것으로 나타났습니다. 실험 결과, 불충실한 주장을 감지하는 것은 요약 평가뿐만 아니라 장문 문맥 이해를 위한 테스트베드로서도 중요한 미래 방향이라는 것을 시사합니다. 마지막으로, 충실도를 넘어 책 길이의 요약에서 내용 선택 오류를 탐구하여 중요한 내러티브 요소와 관련된 생략 오류의 유형을 개발하고 책의 마지막 부분에서 발생하는 사건에 대한 체계적인 과잉 강조도 파악했습니다. 저희는 책 길이의 요약 평가에 대한 추가 연구를 촉진하기 위해 Fables를 공개합니다.
긴 컨텍스트의 대규모 언어 모델(LLM)은 기술적으로 책 길이의 문서(\(>\) 10만 토큰)를 요약할 수 있지만, 문서의 길이와 복잡성으로 인해 지금까지 충실도와 같은 입력 의존적인 측면에 대한 평가가 금지되어 왔습니다. 이 논문에서는 가상의 책을 생성한 LLM의 요약에 대한 충실도와 내용 선택에 대한 최초의 대규모 인간 평가를 수행합니다. 이 연구는 2023년 또는 2024년에 출판된 책의 요약에 초점을 맞춤으로써 데이터 오염 문제를 완화하고, 비용과 인지 부담을 최소화하기 위해 주석 작업 전에 각 책을 완전히 읽은 주석가를 고용합니다. 5.2만 달러의 비용으로 26권의 책을 요약한 LLM에서 생성된 3,158개의 주장에 대한 주석 데이터 세트인 Fables를 수집하여 충실도를 기준으로 LLM 요약기를 순위를 매길 수 있습니다: Claude-3-Opus는 모든 비공개 LLM보다 훨씬 뛰어난 성능을 발휘하는 반면, 오픈 소스인 Mktral은 GPT-3.5-Turbo와 동등한 수준입니다. 주석을 분석한 결과, 불충실한 주장은 대부분 사건 및 캐릭터 상태와 관련이 있으며, 일반적으로 내러티브에 대한 간접적인 추론이 필요합니다. LLM 기반 자동 평가기는 다른 환경에서 사실성과 일관성에 대해 신뢰할 수 있는 것으로 입증되었지만, 충실도에 대한 여러 LLM 평가기를 구현한 결과 특히 불충실한 주장을 감지하는 데 있어 인간의 주석과 강한 상관관계가 없는 것으로 나타났습니다. 실험 결과, 불충실한 주장을 감지하는 것은 요약 평가뿐만 아니라 장문 문맥 이해를 위한 테스트베드로서도 중요한 미래 방향이라는 것을 시사합니다. 마지막으로, 충실도를 넘어 책 길이의 요약에서 내용 선택 오류를 탐구하여 중요한 내러티브 요소와 관련된 생략 오류의 유형을 개발하고 책의 마지막 부분에서 발생하는 사건에 대한 체계적인 과잉 강조도 파악했습니다. 저희는 책 길이의 요약 평가에 대한 추가 연구를 촉진하기 위해 Fables를 공개합니다.