* **None**: As a lower bound, we evaluate the faithfulness of claims without any evidence from the book. * **Human evidence**: We can also use human-annotated evidence from Fables obtained via the pipeline described in SS2. This evidence is always related to the claim, but it often takes the form of short, highly-contextual spans that may or may not be sufficient to support claim verification. * **BM25 retrieval**: We employ BM25 (Robertson et al., 1995) to retrieve passages from the book using the claim as a query. We concatenate the \(k\) most relevant passages to use as evidence for our evaluation prompt. We set \(k=5\) and chunk passages up to 256 tokens. See SS4 for performance changes when varying passage length. * **Entire book (EB)**: Retrieval is especially challenging in our setting due to the complexity of both the query and document. Intuitively, long-context LLMs can bypass explicit retrieval by simply fitting the entire book into the context as evidence. This setting resembles "needle-in-the-haystack" evaluations of prior work (Kamradt, 2023; Levy et al., 2024), except that it tests a much deeper understanding of the input document.
* **None**: 하한으로, 책의 증거 없이 클레임의 진실성을 평가합니다. 
* **Human evidence**: SS2에 설명된 파이프라인을 통해 얻은 우화에서 인간이 주석을 달한 evidence를 사용할 수도 있습니다. 이 evidence는 항상 클레임과 관련이 있지만, 클레임 검증을 뒷받침하기에 충분할 수도 있고 그렇지 않을 수도 있는 짧고 상황에 따라 달라지는 범위의 형태를 갖는 경우가 많습니다. 
* **BM25 retrieval**: BM25(Robertson et al., 1995)를 사용하여 클레임을 쿼리로 사용하여 책에서 구절을 retrieval합니다. 가장 관련성이 높은 구절 \(k\)를 연결하여 평가 프롬프트의 evidence로 사용합니다. k=5로 설정하고 최대 256 토큰까지 구절을 쪼개는 방식으로 설정합니다. 구절 길이를 변경할 때 성능 변화는 SS4를 참조하세요. 
* **Entire book (EB)**: 쿼리와 문서 모두의 복잡성으로 인해 이 설정에서 retrieval은 특히 어렵습니다. 직관적으로, 긴 문맥의 LLM은 단순히 전체 책을 컨텍스트에 evidence로 넣어주는 것만으로 명시적인 retrieval을 우회할 수 있습니다. 이 설정은 이전 작업의 "건초더미 속의 바늘" 평가(Kamradt, 2023; Levy et al., 2024)와 유사하지만, 입력 문서에 대한 훨씬 더 깊은 이해를 테스트한다는 점이 다릅니다.
* **없음**: 하한으로, 책의 증거 없이 클레임의 진실성을 평가합니다. * **인간 증거**: SS2에 설명된 파이프라인을 통해 얻은 우화에서 인간이 주석을 달한 증거를 사용할 수도 있습니다. 이 증거는 항상 클레임과 관련이 있지만, 클레임 검증을 뒷받침하기에 충분할 수도 있고 그렇지 않을 수도 있는 짧고 상황에 따라 달라지는 범위의 형태를 갖는 경우가 많습니다. * **BM25 검색**: BM25(Robertson et al., 1995)를 사용하여 클레임을 쿼리로 사용하여 책에서 구절을 검색합니다. 가장 관련성이 높은 구절 \(k\)를 연결하여 평가 프롬프트의 증거로 사용합니다. k=5로 설정하고 최대 256 토큰까지 구절을 쪼개는 방식으로 설정합니다. 구절 길이를 변경할 때 성능 변화는 SS4를 참조하세요. * **전체 책(EB)**: 쿼리와 문서 모두의 복잡성으로 인해 이 설정에서 검색은 특히 어렵습니다. 직관적으로, 긴 문맥의 LLM은 단순히 전체 책을 컨텍스트에 증거로 넣어주는 것만으로 명시적인 검색을 우회할 수 있습니다. 이 설정은 이전 작업의 "건초더미 속의 바늘" 평가(Kamradt, 2023; Levy et al., 2024)와 유사하지만, 입력 문서에 대한 훨씬 더 깊은 이해를 테스트한다는 점이 다릅니다.