Claim verification for evaluating summaries:Our paper also relates to prior work on claim verification, where claims are verified given reference to some knowledge source (Thorne et al., 2018; Wadden et al., 2020; Schuster et al., 2021). Min et al. (2023) propose FActScore, an LLM-based metric of factual precision in biography generation, which was expanded upon in SAFE (Wei et al., 2024). Manakul et al. (2023) propose SelfCheckGPT, which uses LLMs to evaluate the faithfulness of GPT-3 generated texts on a dataset of Wikipedia-style passages about people.
주장 검증을 통한 요약 평가: 우리의 논문은 또한 주장 검증에 관한 이전 연구와 관련이 있습니다. 여기서 주장은 특정 지식 출처를 참조하여 검증됩니다 (Thorne et al., 2018; Wadden et al., 2020; Schuster et al., 2021). Min et al. (2023)은 전기 생성에서 사실적 정확성을 평가하는 LLM 기반 메트릭인 FActScore를 제안했으며, 이는 SAFE (Wei et al., 2024)에서 확장되었습니다. Manakul et al. (2023)은 사람들에 대한 위키피디아 스타일의 문단 데이터셋에서 GPT-3가 생성한 텍스트의 신뢰성을 평가하기 위해 LLM을 사용하는 SelfCheckGPT를 제안했습니다.
요약 평가를 위한 클레임 검증: 저희 논문은 클레임이 지식 소스에 대한 참조가 주어졌을 때 검증되는 클레임 검증에 대한 선행 연구와도 관련이 있습니다(Thorne et al., 2018; Wadden et al., 2020; Schuster et al., 2021). Min et al. (2023)은 전기 생성에서 사실적 정확성에 대한 LLM 기반 메트릭인 FActScore를 제안했으며, 이는 SAFE(Wei et al., 2024)에서 확장되었습니다. Manakul et al. (2023)은 LLM을 사용하여 사람에 대한 위키피디아 스타일의 구절 데이터 세트에서 GPT-3 생성 텍스트의 충실성을 평가하는 SelfCheckGPT를 제안합니다.