find that the evidence often does not provide enough context that would allow someone who has not read the book to determine the faithfulness of the claim. As a result of decontestualization, claims always refer to people by name, but evidence often use pronouns instead. The annotator would need to quote a much larger chunk from the book in order for the evidence to include names as well. An even trickier case is that when dealing with high-level claims like "X is the protagonist of the story" or "The themes of the story are X, Y, and Z," one needs knowledge of the entire book, but citing the entire book as evidence is trivial. If annotators were to collect self-contained and sufficient evidence for every claim, the task would become significantly more challenging, sometimes even impossible. This difficulty with evidence gathering sheds light on why automatic evaluation does not work so well for this task.
증거가 책을 읽지 않은 사람이 해당 주장의 진실성을 판단할 수 있는 충분한 맥락을 제공하지 못하는 경우가 많다는 것을 알 수 있습니다. 맥락이 없어지면서 주장은 항상 사람의 이름을 언급하지만 증거는 대명사를 사용하는 경우가 많습니다. 증거에 이름도 포함되려면 주석 작성자가 책에서 훨씬 더 많은 부분을 인용해야 합니다. 더 까다로운 경우는 "X가 이야기의 주인공이다" 또는 "이야기의 주제는 X, Y, Z이다"와 같은 높은 수준의 주장을 다루는 경우, 책 전체에 대한 지식이 필요하지만 책 전체를 증거로 인용하는 것은 사소한 일입니다. 주석 작성자가 모든 주장에 대해 독립적이고 충분한 증거를 수집한다면 작업은 훨씬 더 어려워지고 때로는 불가능해지기도 합니다. 이러한 증거 수집의 어려움은 자동 evaluation이 이 작업에 잘 적용되지 않는 이유를 설명해 줍니다.
증거가 책을 읽지 않은 사람이 해당 주장의 진실성을 판단할 수 있는 충분한 맥락을 제공하지 못하는 경우가 많다는 것을 알 수 있습니다. 맥락이 없어지면서 주장은 항상 사람의 이름을 언급하지만 증거는 대명사를 사용하는 경우가 많습니다. 증거에 이름도 포함되려면 주석 작성자가 책에서 훨씬 더 많은 부분을 인용해야 합니다. 더 까다로운 경우는 "X가 이야기의 주인공이다" 또는 "이야기의 주제는 X, Y, Z이다"와 같은 높은 수준의 주장을 다루는 경우, 책 전체에 대한 지식이 필요하지만 책 전체를 증거로 인용하는 것은 사소한 일입니다. 주석 작성자가 모든 주장에 대해 독립적이고 충분한 증거를 수집한다면 작업은 훨씬 더 어려워지고 때로는 불가능해지기도 합니다. 이러한 증거 수집의 어려움은 자동 평가가 이 작업에 잘 적용되지 않는 이유를 설명해 줍니다.