After demonstrating the performance of RAFT on various benchmarks, we now study another important problem: How does the number of distractor documents in RAFT affect the model's performance when augmented with top-k retriever augmented generation (RAG) result during the evaluation? Previous research has highlighted the vulnerability of LLMs to irrelevant text (see studies (Shi et al., 2023; Weston and Sukhbaatar, 2023; Liu et al., 2023)). This issue is particularly critical for LLMs + RAG since top-k RAG is frequently employed at test time to ensure high recall. Such a scenario necessitates the model to have the ability to discern and disregard irrelevant content, focusing solely on pertinent information.
다양한 벤치마크에서 RAFT의 성능을 입증한 후, 이제 또 다른 중요한 문제를 연구합니다: 평가 중에 top-k retriever augmented generation (RAG) 결과로 증강된 경우, RAFT의 산만 문서 수가 모델의 성능에 어떤 영향을 미치는가? 이전 연구에서는 LLM이 관련 없는 텍스트에 취약하다는 점을 강조했습니다(Shi et al., 2023; Weston and Sukhbaatar, 2023; Liu et al., 2023). 이 문제는 테스트 시에 높은 회수율을 보장하기 위해 top-k RAG가 자주 사용되기 때문에 LLM + RAG에 특히 중요합니다. 이러한 시나리오에서는 모델이 관련 없는 콘텐츠를 식별하고 무시하여 관련 정보에만 집중할 수 있는 능력이 필요합니다.
다양한 벤치마크에서 RAFT의 성능을 입증한 후, 이제 또 다른 중요한 문제를 연구합니다: 평가 중에 상위 k 검색기 증강 생성(RAG) 결과로 증강된 경우, RAFT의 산만 문서 수가 모델의 성능에 어떤 영향을 미치는가? 이전 연구에서는 LLM이 관련 없는 텍스트에 취약하다는 점을 강조했습니다(Shi et al., 2023; Weston and Sukhbaatar, 2023; Liu et al., 2023). 이 문제는 테스트 시에 높은 회수율을 보장하기 위해 상위 k RAG가 자주 사용되기 때문에 LLM + RAG에 특히 중요합니다. 이러한 시나리오에서는 모델이 관련 없는 콘텐츠를 식별하고 무시하여 관련 정보에만 집중할 수 있는 능력이 필요합니다.