**Discussion:** It is generally agreed that benchmarking the faithfulness of LLM-generated text is important. However, recent efforts have primarily focused on verifying entity-centric facts (Min et al., 2023). Our work, and others (Zhu et al., 2023; Tang et al., 2024; Mishra et al., 2024), show that these do not provide coverage over all types of LLM errors, especially in more challenging settings like book summarization.
**Discussion:** LLM이 생성한 텍스트의 신뢰성을 벤치마킹하는 것이 중요하다는 점은 일반적으로 동의됩니다. 그러나 최근의 노력은 주로 엔티티 중심의 사실을 검증하는 데 초점을 맞추고 있습니다 (Min et al., 2023). 우리의 연구와 다른 연구들 (Zhu et al., 2023; Tang et al., 2024; Mishra et al., 2024)은 이러한 접근법이 모든 유형의 LLM 오류를 포괄하지 못하며, 특히 책 요약과 같은 더 어려운 설정에서는 더욱 그렇다는 것을 보여줍니다.
**토론:** 일반적으로 LLM이 생성한 텍스트의 충실도를 벤치마킹하는 것이 중요하다는 데 동의합니다. 그러나 최근의 노력은 주로 개체 중심의 사실을 검증하는 데 초점을 맞추고 있습니다(Min et al., 2023). 우리의 연구와 다른 연구(Zhu et al., 2023; Tang et al., 2024; Mishra et al., 2024)에 따르면, 이러한 방법은 특히 책 요약과 같은 더 어려운 설정에서 모든 유형의 LLM 오류에 대한 커버리지를 제공하지 못합니다.