**Can faithfulness be evaluated automatically? (SS4)** Collecting human annotations on 26 books cost us **SS5.2K**, demonstrating the difficulty of scaling our workflow to new domains and datasets. We thus implement multiple LLM-based raters of faithfulness, following prior work such as BooookScore (Chang et al., 2023b) and FactScore (Min et al., 2023) that achieve high correlation with human judgments. However, all of our metric configurations struggle to reliably identify unfaithful claims. Our best-performing method operates similarly to "needle-in-the-haystack"-style evaluations (Kamradt, 2023; Gemini Team, 2024) by feeding as much of the book as possible into a long-context LLM along with a single claim to verify. We promote this claim-level verification task as both important for book-length summarization evaluation as well as a challenging benchmark for long-context understanding.
**충실도를 자동으로 평가할 수 있나요? (SS4)** 26권의 책에 대한 인간 주석을 수집하는 데 **SS5.2K**의 비용이 들었으며, 이는 새로운 도메인과 데이터 세트에 워크플로우를 확장하는 것이 얼마나 어려운지 보여줍니다. 따라서 우리는 사람의 판단과 높은 상관관계를 달성하는 BooookScore(Chang et al., 2023b) 및 FactScore(Min et al., 2023)와 같은 선행 연구에 따라 충실도에 대한 여러 LLM 기반 평가자를 구현합니다. 그러나 모든 metric 구성이 신뢰할 수 있는 비충실성 주장을 식별하는 데 어려움을 겪고 있습니다. 가장 성능이 좋은 방법은 확인할 단일 주장과 함께 가능한 한 많은 양의 책을 긴 컨텍스트 LLM에 입력하여 "needle-in-the-haystack" 스타일의 평가(Kamradt, 2023; Gemini Team, 2024)와 유사하게 작동합니다. 우리는 이러한 claim-level verification 작업이 책 길이의 요약 평가에 중요할 뿐만 아니라 long-context understanding을 위한 도전적인 benchmark로서의 중요성을 강조합니다.
**충실도를 자동으로 평가할 수 있나요? (SS4)** 26권의 책에 대한 인간 주석을 수집하는 데 **SS5.2K**의 비용이 들었으며, 이는 새로운 도메인과 데이터 세트에 워크플로우를 확장하는 것이 얼마나 어려운지 보여줍니다. 따라서 우리는 사람의 판단과 높은 상관관계를 달성하는 BooookScore(Chang et al., 2023b) 및 FactScore(Min et al., 2023)와 같은 선행 연구에 따라 충실도에 대한 여러 LLM 기반 평가자를 구현합니다. 그러나 모든 메트릭 구성이 신뢰할 수 있는 비충실성 주장을 식별하는 데 어려움을 겪고 있습니다. 가장 성능이 좋은 방법은 확인할 단일 주장과 함께 가능한 한 많은 양의 책을 긴 컨텍스트 LLM에 입력하여 "건초더미에서 바늘 찾기" 스타일의 평가(Kamradt, 2023; Gemini Team, 2024)와 유사하게 작동합니다. 우리는 이러한 클레임 수준의 검증 작업이 책 길이의 요약 평가에 중요할 뿐만 아니라 장문 텍스트 이해를 위한 도전적인 벤치마크로서의 중요성을 강조합니다.