To tackle the challenge of enhancing large language models' (LLMs) ability to sift through irrelevant text within the retrieval pipeline, our analysis revealed that training solely with oracle (highly relevant) documents can inadvertently diminish the model's ability to discern and disregard irrelevant information. To address this, our algorithm, RAFT, adopts a strategy that integrates oracle documents with a mix of irrelevant ones. This methodology prompts us to investigate the ideal fraction of negative (irrelevant) documents to incorporate throughout the training process and to assess how well this training approach adapts to different volumes of documents encountered by the Retrieval-Augmented Generation (RAG) during the test phase. Our aim is to refine the balance between relevant and irrelevant information to strengthen the model's efficiency in identifying and utilizing pertinent content. Notice that Sec 4.5 looked at what P% of training data should include distractors, while in this section, we study test-time scenarios.
검색 파이프라인 내에서 관련성이 없는 텍스트를 선별하는 Large Language Models (LLMs)의 능력을 향상시키는 과제를 해결하기 위해 oracle (관련성이 높은) 문서로만 학습하면 관련성이 없는 정보를 식별하고 무시하는 모델의 능력이 저하될 수 있다는 분석 결과가 나왔습니다. 이를 해결하기 위해 저희 알고리즘인 RAFT는 oracle 문서와 관련 없는 문서를 혼합하여 통합하는 전략을 채택합니다. 이 방법론을 통해 훈련 과정에서 통합할 부정(관련 없는) 문서의 이상적인 비율을 조사하고, 테스트 단계에서 Retrieval-Augmented Generation (RAG)이 접하는 다양한 양의 문서에 이 훈련 접근 방식이 얼마나 잘 적응하는지 평가할 수 있습니다. 우리의 목표는 관련성 있는 정보와 관련 없는 정보 사이의 균형을 개선하여 관련성 있는 콘텐츠를 식별하고 활용하는 모델의 효율성을 강화하는 것입니다. 섹션 4.5에서는 학습 데이터의 P%에 산만 요소를 포함시켜야 하는지 살펴봤지만, 이 섹션에서는 테스트 시간 시나리오를 연구합니다.
검색 파이프라인 내에서 관련성이 없는 텍스트를 선별하는 대규모 언어 모델(LLM)의 능력을 향상시키는 과제를 해결하기 위해 오라클(관련성이 높은) 문서로만 학습하면 관련성이 없는 정보를 식별하고 무시하는 모델의 능력이 저하될 수 있다는 분석 결과가 나왔습니다. 이를 해결하기 위해 저희 알고리즘인 RAFT는 오라클 문서와 관련 없는 문서를 혼합하여 통합하는 전략을 채택합니다. 이 방법론을 통해 훈련 과정에서 통합할 부정(관련 없는) 문서의 이상적인 비율을 조사하고, 테스트 단계에서 검색 증강 생성(RAG)이 접하는 다양한 양의 문서에 이 훈련 접근 방식이 얼마나 잘 적응하는지 평가할 수 있습니다. 우리의 목표는 관련성 있는 정보와 관련 없는 정보 사이의 균형을 개선하여 관련성 있는 콘텐츠를 식별하고 활용하는 모델의 효율성을 강화하는 것입니다. 섹션 4.5에서는 학습 데이터의 P%에 산만 요소를 포함시켜야 하는지 살펴봤지만, 이 섹션에서는 테스트 시간 시나리오를 연구합니다.