Figure 1: Our pipeline for collecting faithfulness annotations in book-length summarization (Tables). First, (a) we generate summaries through hierarchical merging. Next, (b) we prompt GPT-4 to extract decontextualized claims. Finally, (c) we conduct a human evaluation of these claims, requiring annotators to validate each claim and provide their reasoning and evidence for the assigned label.
Figure 1: 책 길이의 요약에서 신뢰성 주석을 수집하기 위한 우리의 파이프라인 (표). 먼저, (a) 계층적 병합을 통해 요약을 생성합니다. 다음으로, (b) GPT-4를 사용하여 문맥에서 벗어난 주장들을 추출합니다. 마지막으로, (c) 이러한 주장들에 대한 인간 평가를 수행하여 주석자들이 각 주장을 검증하고 할당된 라벨에 대한 이유와 증거를 제공하도록 요구합니다.
그림 1: 책 길이의 요약(표)에서 신뢰성 주석을 수집하기 위한 파이프라인. 먼저, (a) 계층적 병합을 통해 요약을 생성합니다. 다음으로, (b) GPT-4로 프롬프트하여 맥락이 없는 주장을 추출합니다. 마지막으로, (c) 이러한 주장에 대한 인간 평가를 수행하여 주석 작성자가 각 주장의 유효성을 검사하고 할당된 레이블에 대한 추론과 증거를 제공하도록 합니다.