Collecting a corpus of newly-published fictional books:It is infeasible, both in terms of cost and time, to ask annotators to read long books (\(\geq 100K\) tokens) for the sole purpose of annotating LLM-generated summaries. While we can remove this burden by choosing famous books that many people have already read, such as those in BookSum (Kryscinski et al., 2022), LLMs have also likely seen these books and their summaries during pretraining (Chang et al., 2023a), which can skew the evaluation of generated claims. Instead, we use an annotator-driven workflow to sidestep these issues. We recruit a pool of annotators via Upwork2 who self-report having read one or more English books published in 2023 or 2024. Our final annotator pool consists of **14** native English speakers, and we purchase electronic copies of 26 books listed by them.3 The mean length of books in our dataset is **121K** tokens (see Table 1 for statistics).
새로 출판된 소설 도서 코퍼스 수집: 비용과 시간 측면에서 모두 고려할 때, LLM이 생성한 요약에 주석을 달기 위해서만 긴 책(\(\geq 100K\) tokens)을 읽도록 주석 작성자에게 요청하는 것은 불가능합니다. BookSum(Kryscinski et al., 2022)에서와 같이 많은 사람들이 이미 읽은 유명한 책을 선택하면 이러한 부담을 덜 수 있지만, LLM은 pretraining 중에 이러한 책과 요약을 본 적도 있을 수 있으므로(Chang et al., 2023a), 생성된 클레임의 평가에 왜곡이 생길 수 있습니다. 대신 annotator-driven workflow를 사용하여 이러한 문제를 피합니다. 2023년 또는 2024년에 출판된 영어 책을 한 권 이상 읽었다고 자기 보고한 주석자 풀을 Upwork2를 통해 모집합니다. 최종 주석자 풀은 **14명**의 영어 원어민으로 구성되며, 이들이 나열한 26권의 전자책을 구입합니다.3 데이터 세트에 포함된 책의 평균 길이는 **121K** tokens입니다(통계는 표 1 참조).
새로 출판된 소설 도서 코퍼스 수집: 비용과 시간 측면에서 모두 고려할 때, LLM이 생성한 요약에 주석을 달기 위해서만 긴 책(\(\geq 100K\) 토큰)을 읽도록 주석 작성자에게 요청하는 것은 불가능합니다. BookSum(Kryscinski et al., 2022)에서와 같이 많은 사람들이 이미 읽은 유명한 책을 선택하면 이러한 부담을 덜 수 있지만, LLM은 사전 학습 중에 이러한 책과 요약을 본 적도 있을 수 있으므로(Chang et al., 2023a), 생성된 클레임의 평가에 왜곡이 생길 수 있습니다. 대신 주석자 중심의 워크플로우를 사용하여 이러한 문제를 피합니다. 2023년 또는 2024년에 출판된 영어 책을 한 권 이상 읽었다고 자기 보고한 주석자 풀을 Upwork2를 통해 모집합니다. 최종 주석자 풀은 **14명**의 영어 원어민으로 구성되며, 이들이 나열한 26권의 전자책을 구입합니다.3 데이터 세트에 포함된 책의 평균 길이는 **121K** 토큰입니다(통계는 표 1 참조).