Decomposing summaries into claims:Following prior works on evaluating long-form summary faithfulness (Krishna et al., 2023; Min et al., 2023; Wei et al., 2024), we decompose our summaries into _atomic claims_ to enable fine-grained annotation. We prompt an LLM (GPT-4) with two primary instructions: (1) each atomic claim must be fully understandable on its own without requiring additional context from the summary (e.g., resolved pronouns), and (2) whenever possible, each claim should be situated within its relevant temporal, locational, and causal context. Human validation by the authors of a random sample of 100 extracted claims demonstrated 100% precision (i.e., each claim can be traced to the summary without any extra or incorrect information). See Figure 2 for example of summary and its extracted claims; see SB for exact prompt.
요약을 클레임으로 분해하기:장문 요약의 충실도 평가에 대한 선행 연구(Krishna et al., 2023; Min et al., 2023; Wei et al., 2024)에 따라 요약을 _원자적 주장_으로 분해하여 세분화된 주석을 가능하게 합니다. 두 가지 주요 Instruction을 통해 LLM(GPT-4)에 프롬프트를 보냅니다: (1) 각 원자적 주장은 요약의 추가 컨텍스트(예: 대명사 해결) 없이도 그 자체로 완전히 이해할 수 있어야 하며, (2) 가능하면 각 주장이 관련 시간적, 위치적, 인과적 맥락 내에 위치해야 합니다. 추출된 100개의 주장 샘플에 대한 저자의 인간 검증 결과 정확도가 100%(즉, 각 주장은 추가 또는 잘못된 정보 없이 요약에서 추적할 수 있음)로 나타났습니다. 요약과 추출된 주장의 예는 그림 2를 참조하시고, 정확한 프롬프트는 SB를 참조하시기 바랍니다.
요약을 클레임으로 분해하기:장문 요약의 충실도 평가에 대한 선행 연구(Krishna et al., 2023; Min et al., 2023; Wei et al., 2024)에 따라 요약을 _원자적 주장_으로 분해하여 세분화된 주석을 가능하게 합니다. 두 가지 주요 지침을 통해 LLM(GPT-4)에 프롬프트를 보냅니다: (1) 각 원자적 주장은 요약의 추가 컨텍스트(예: 대명사 해결) 없이도 그 자체로 완전히 이해할 수 있어야 하며, (2) 가능하면 각 주장이 관련 시간적, 위치적, 인과적 맥락 내에 위치해야 합니다. 추출된 100개의 주장 샘플에 대한 저자의 인간 검증 결과 정확도가 100%(즉, 각 주장은 추가 또는 잘못된 정보 없이 요약에서 추적할 수 있음)로 나타났습니다. 요약과 추출된 주장의 예는 그림 2를 참조하시고, 정확한 프롬프트는 SB를 참조하시기 바랍니다.