We mitigate challenges associated with document complexity by hiring workers who have already read a book published in 2023 or 2024 (to avoid data contamination) for enjoyment prior to beginning the annotation task. We produce summaries for these books via fiveconfigurations of the hierarchical summarization methodology described in Chang et al. (2023b), each of which varies the base LLM and chunk size. Following prior work on faithfulness and factuality evaluation, such as LongEval (Krishna et al., 2023) and FactScore (Min et al., 2023), we decompose each summary into a list of claims which are then individually verified against the input document.
문서의 복잡성과 관련된 문제를 완화하기 위해, 우리는 주석 작업을 시작하기 전에 2023년 또는 2024년에 출판된 책을 이미 읽은 작업자들을 고용하여 데이터 오염을 피하고자 했습니다. 이러한 책들에 대해 Chang et al. (2023b)에서 설명한 계층적 요약 방법론의 다섯 가지 구성 방식을 통해 요약을 생성합니다. 각 구성 방식은 기본 LLM과 청크 크기를 다르게 설정합니다. LongEval (Krishna et al., 2023) 및 FactScore (Min et al., 2023)와 같은 신뢰성과 사실성 평가에 관한 이전 연구를 따르며, 각 요약을 주장 목록으로 분해한 후 입력 문서와 개별적으로 대조하여 검증합니다.
문서의 복잡성과 관련된 문제를 완화하기 위해 주석 작업을 시작하기 전에 이미 2023년 또는 2024년에 출판된 책을 재미로 읽은 적이 있는 작업자를 고용합니다(데이터 오염을 피하기 위해). 이러한 책에 대한 요약은 Chang et al. (2023b)에 설명된 계층적 요약 방법론의 다섯 가지 구성을 통해 생성하며, 각 구성은 기본 LLM과 청크 크기를 변경합니다. 충실도 및 진실성 평가에 관한 선행 연구(LongEval(Krishna et al., 2023) 및 FactScore(Min et al., 2023))에 따라 각 요약을 클레임 목록으로 분해한 다음 입력 문서와 비교하여 개별적으로 검증합니다.