Faithfulness and content selection in summarization:Our paper builds on prior work in evaluating hallucination and inconsistency in summarization (Maynez et al., 2020; Kryscinski et al., 2020; Ladhak, 2024) which are even challenging for humans (Daume and Marcu, 2005). Pagnoni et al. (2021) introduce the FRANK dataset, where they use human annotations of generated summaries to produce a taxonomy of factual errors based on linguistic analysis, resembling the work of Goyal and Durrett (2020) and Goyal and Durrett (2021). Closest to our work, Krishna et al. (2023) perform human evaluation of faithfulness on summaries of short stories, whereas we study book-length inputs. Our exploration of omission errors is rooted in prior research on content selection (Nenkova and Passonneau, 2004; Gillick and Liu, 2010; Ladhak et al., 2020).
요약의 충실성 및 콘텐츠 선택: 저희 논문은 인간에게도 어려운 요약의 Hallucination과 불일치를 평가하는 선행 연구(Maynez et al., 2020; Kryscinski et al., 2020; Ladhak, 2024)를 기반으로 하며, 이는 Goyal과 Durrett(2020) 및 Goyal과 Durrett(2021)의 연구와 유사한 언어 분석을 기반으로 한 사실 오류의 분류를 생성하기 위해 사람의 주석을 사용하는 FRANK 데이터 세트를 소개합니다. 우리 연구와 가장 가까운 Krishna et al. (2023)은 단편 소설의 요약에 대한 충실성에 대한 인간 평가를 수행한 반면, 우리는 책 길이의 입력을 연구합니다. 생략 오류에 대한 우리의 탐구는 콘텐츠 선택에 대한 선행 연구(Nenkova and Passonneau, 2004; Gillick and Liu, 2010; Ladhak et al., 2020)에 뿌리를 두고 있습니다.
요약의 충실성 및 콘텐츠 선택: 저희 논문은 인간에게도 어려운 요약의 환각과 불일치를 평가하는 선행 연구(Maynez et al., 2020; Kryscinski et al., 2020; Ladhak, 2024)를 기반으로 하며, 이는 Goyal과 Durrett(2020) 및 Goyal과 Durrett(2021)의 연구와 유사한 언어 분석을 기반으로 한 사실 오류의 분류를 생성하기 위해 사람의 주석을 사용하는 FRANK 데이터 세트를 소개합니다. 우리 연구와 가장 가까운 Krishna et al. (2023)은 단편 소설의 요약에 대한 충실성에 대한 인간 평가를 수행한 반면, 우리는 책 길이의 입력을 연구합니다. 생략 오류에 대한 우리의 탐구는 콘텐츠 선택에 대한 선행 연구(Nenkova and Passonneau, 2004; Gillick and Liu, 2010; Ladhak et al., 2020)에 뿌리를 두고 있습니다.