Advances in long-context language models have sparked interest in summarizing book-length documents (\(>\)100K tokens). Despite the importance of faithfulness and content relevance for summary quality, recent work in this regime focuses only on input-agnostic aspects like coherence (Chang et al., 2023b). This is due to the length and complexity of the input documents: hiring human annotators to read and understand them is expensive and time-consuming. Our work fills this gap by presenting the first large-scale human evaluation of faithfulness and other content selection errors in book-length summarization.
긴 문맥 언어 모델의 발전은 책 길이의 문서(100K 토큰 이상)를 요약하는 데 대한 관심을 불러일으켰습니다. 요약 품질에 있어 충실성과 내용 관련성의 중요성에도 불구하고, 최근의 연구는 일관성 같은 입력과 무관한 측면에만 초점을 맞추고 있습니다(Chang et al., 2023b). 이는 입력 문서의 길이와 복잡성 때문입니다: 사람 평가자를 고용하여 이를 읽고 이해하는 것은 비용이 많이 들고 시간이 많이 소요됩니다. 우리의 연구는 책 길이 요약에서 충실성과 기타 내용 선택 오류에 대한 최초의 대규모 인간 평가를 제시함으로써 이 격차를 메웁니다.
긴 문맥 언어 모델의 발전으로 책 길이의 문서(\(>\)100K 토큰)를 요약하는 것에 대한 관심이 높아지고 있습니다. 요약 품질에 있어 충실성과 콘텐츠 관련성이 중요함에도 불구하고, 최근 이 분야의 연구는 일관성(Chang et al., 2023b)과 같은 입력에 구애받지 않는 측면에만 초점을 맞추고 있습니다. 이는 입력 문서의 길이와 복잡성 때문인데, 인간 주석가가 이를 읽고 이해하도록 고용하는 것은 비용과 시간이 많이 소요됩니다. 이러한 격차를 메우기 위해 저자는 책 길이의 요약에서 충실성 및 기타 콘텐츠 선택 오류에 대한 최초의 대규모 인간 평가를 제시합니다.