Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or finetuning. However, the optimal methodology for the model to gain such new knowledge remains an open question. In this paper, we present Retrieval Augmented Fine Tuning (RAFT), a training recipe that improves the model's ability to answer questions in an "open-book" in-domain setting. In RAFT, given a question, and a set of retrieved documents, we train the model to ignore those documents that don't help in answering the question, which we call, distractor documents. RAFT accomplishes this by citing verbatim the right sequence from the relevant document that would help answer the question. This coupled with RAFT's chain-of-thought-style response helps improve the model's ability to reason. In domain specific RAG, RAFT consistently improves the model's performance across PubMed, HotpotQA, and Gorilla datasets, presenting a post-training recipe to improve pre-trained LLMs to in-domain RAG.
대규모 텍스트 데이터 코퍼라에 대해 Large Language Models (LLMs)을 사전 학습하는 것이 현재 표준 패러다임이 되었습니다. 이러한 LLM을 다양한 다운스트림 애플리케이션에 사용할 때, Retrieval-augmented generation (RAG) 기반 프롬프트 또는 Fine-tuning을 통해 사전 학습된 모델에 새로운 지식(예: 시간에 민감한 뉴스 또는 비공개 도메인 지식)을 추가하는 것이 일반적입니다. 그러나 모델이 이러한 새로운 지식을 습득하는 데 최적의 방법론은 여전히 미해결 과제로 남아 있습니다. 이 논문에서는 '오픈 북' 도메인 설정에서 질문에 답하는 모델의 능력을 향상시키는 훈련 레시피인 Retrieval Augmented Fine Tuning (RAFT)을 소개합니다. RAFT는 질문과 검색된 문서 집합이 주어지면 질문에 답하는 데 도움이 되지 않는 문서, 즉 산만 문서를 무시하도록 모델을 훈련합니다. RAFT는 질문에 답하는 데 도움이 되는 관련 문서에서 올바른 순서를 정확히 인용하여 이를 달성합니다. 이는 RAFT의 연쇄적 사고 스타일의 응답과 결합되어 모델의 추론 능력을 향상시키는 데 도움이 됩니다. 도메인별 RAG에서 RAFT는 PubMed, HotpotQA, Gorilla 데이터 세트에서 일관되게 모델의 성능을 향상시켜 사전 학습된 LLM을 도메인별 RAG로 개선하는 사후 학습 레시피를 제시합니다.
대규모 텍스트 데이터 코퍼라에 대해 대규모 언어 모델(LLM)을 사전 학습하는 것이 현재 표준 패러다임이 되었습니다. 이러한 LLM을 다양한 다운스트림 애플리케이션에 사용할 때, RAG 기반 프롬프트 또는 미세 조정을 통해 사전 학습된 모델에 새로운 지식(예: 시간에 민감한 뉴스 또는 비공개 도메인 지식)을 추가하는 것이 일반적입니다. 그러나 모델이 이러한 새로운 지식을 습득하는 데 최적의 방법론은 여전히 미해결 과제로 남아 있습니다. 이 논문에서는 '오픈 북' 도메인 설정에서 질문에 답하는 모델의 능력을 향상시키는 훈련 레시피인 검색 증강 미세 조정(RAFT)을 소개합니다. RAFT는 질문과 검색된 문서 집합이 주어지면 질문에 답하는 데 도움이 되지 않는 문서, 즉 산만 문서를 무시하도록 모델을 훈련합니다. RAFT는 질문에 답하는 데 도움이 되는 관련 문서에서 올바른 순서를 정확히 인용하여 이를 달성합니다. 이는 RAFT의 연쇄적 사고 스타일의 응답과 결합되어 모델의 추론 능력을 향상시키는 데 도움이 됩니다. 도메인별 RAG에서 RAFT는 PubMed, HotpotQA, Gorilla 데이터 세트에서 일관되게 모델의 성능을 향상시켜 사전 학습된 LLM을 도메인별 RAG로 개선하는 사후 학습 레시피를 제시합니다.