Varying length of tokens used in BM25As we increase the length of BM25-retrieved passages, the overall performance improves (Figure 12). However, this approach remains less effective for identifying unfaithful claims than our best performing method, i.e., prompting the model with the content of the entire book. This is likely due to the fact that even longer passages may not provide the entire context needed for verification of broader claims.
BM25에 사용되는 토큰의 길이가 다양함에 따라 BM25로 검색된 구절의 길이를 늘리면 전체 성능이 향상됩니다(Figure 12). 그러나 이 접근 방식은 전체 책의 내용으로 모델에 prompting하는 가장 성능이 좋은 방법보다 신뢰할 수 없는 주장을 식별하는 데는 여전히 덜 효과적입니다. 이는 더 긴 구절조차도 광범위한 주장의 검증에 필요한 전체 context를 제공하지 못하기 때문일 수 있습니다.
BM25에 사용되는 토큰의 길이가 다양함에 따라 BM25로 검색된 구절의 길이를 늘리면 전체 성능이 향상됩니다(그림 12). 그러나 이 접근 방식은 전체 책의 내용으로 모델에 프롬프트하는 가장 성능이 좋은 방법보다 신뢰할 수 없는 주장을 식별하는 데는 여전히 덜 효과적입니다. 이는 더 긴 구절조차도 광범위한 주장의 검증에 필요한 전체 컨텍스트를 제공하지 못하기 때문일 수 있습니다.