While insightful, human annotation of faithfulness in book-length summarization is simply not scalable: our annotations cost $40 USD per summary for a total cost of $5.2K USD, which is prohibitively expensive for usage during model development and with bigger corpora. In this section, inspired by methods such as FactScore (Min et al., 2023) and BooookScore (Chang et al., 2023b), we develop LLM-powered automatic raters of faithfulness that operate at the claim level. However, our best method, which relies on prompting Claude-3-Opus with the entire book to verify a single claim, is expensive and unreliable at detecting unfaithful claims in Tables, suggesting important directions for future work.
책 길이의 요약에서 신뢰성을 인간이 주석을 다는 것은 통찰력은 있지만 단순히 확장 가능하지 않습니다: 우리의 주석은 요약당 40달러의 비용이 들며 총 비용은 5.2천 달러로, 모델 개발 및 더 큰 말뭉치 사용 시에는 지나치게 비쌉니다. 이 섹션에서는 FactScore (Min et al., 2023) 및 BooookScore (Chang et al., 2023b)와 같은 방법에서 영감을 받아, 주장 수준에서 작동하는 LLM 기반의 자동 신뢰성 평가기를 개발합니다. 그러나 단일 주장을 검증하기 위해 전체 책을 Claude-3-Opus에 프롬프트하는 것에 의존하는 우리의 최선의 방법은 비용이 많이 들고 표에서 신뢰할 수 없는 주장을 감지하는 데 신뢰할 수 없으며, 이는 향후 연구의 중요한 방향을 시사합니다.
인사이트를 제공하지만, 책 길이의 요약에서 충실도에 대한 인간의 주석은 확장할 수 없습니다. 요약당 40달러의 비용이 들며 총 비용은 5,200달러로, 모델 개발 및 더 큰 말뭉치에서 사용하기에는 너무 비쌉니다. 이 섹션에서는 FactScore(Min et al., 2023) 및 BooookScore(Chang et al., 2023b)와 같은 방법에서 영감을 받아 클레임 수준에서 작동하는 충실도에 대한 LLM 기반 자동 평가자를 개발합니다. 그러나 단일 클레임을 검증하기 위해 책 전체를 사용하여 Claude-3-Opus를 프롬프트하는 방식에 의존하는 최상의 방법은 비용이 많이 들고 신뢰할 수 없어 표의 불충실한 클레임을 감지하는 데 중요한 방향성을 제시합니다.