In this paper, we study how to combine supervised fine-tuning (SFT) with retrieval augmented generation (RAG). We propose a novel adaptation strategy - Retrieval-Augmented Fine Tuning (RAFT). RAFT specifically addresses the challenge of fine-tuning LLMs to incorporate domain knowledge while also improving in-domain RAGperformance. RAFT aims to not only enable models to learn domain specific knowledge through fine-tuning, but also to ensure robustness against inaccurate retrievals. This is achieved by training the models to understand the dynamics between the question posed (prompt), the domain specific documents retrieved, and the appropriate answer. Going back to our analogy, our approach is analogous to studying for an open-book exam by recognizing relevant, and irrelevant retrieved documents.
이 백서에서는 Supervised Fine-tuning (SFT)과 Retrieval-augmented generation (RAG)을 결합하는 방법을 연구합니다. 새로운 적응 전략인 Retrieval-augmented Fine-tuning (RAFT)을 제안합니다. RAFT는 도메인 지식을 통합하면서 도메인 내 RAG 성능을 개선하기 위해 LLM을 Fine-tuning하는 문제를 구체적으로 해결합니다. RAFT는 모델이 Fine-tuning을 통해 도메인별 지식을 학습할 수 있도록 지원할 뿐만 아니라 부정확한 검색에 대한 Robustness를 보장하는 것을 목표로 합니다. 이는 제시된 질문(prompt), 검색된 도메인별 문서, 적절한 답변 간의 역학을 이해하도록 모델을 훈련함으로써 달성할 수 있습니다. 비유를 들어, 우리의 접근 방식은 관련성 있는 검색 문서와 관련 없는 검색 문서를 인식하여 오픈북 시험을 공부하는 것과 유사합니다.
이 백서에서는 지도 미세 조정(SFT)과 검색 증강 생성(RAG)을 결합하는 방법을 연구합니다. 새로운 적응 전략인 검색 증강 미세 조정(RAFT)을 제안합니다. RAFT는 도메인 지식을 통합하면서 도메인 내 RAG 성능을 개선하기 위해 LLM을 미세 조정하는 문제를 구체적으로 해결합니다. RAFT는 모델이 미세 조정을 통해 도메인별 지식을 학습할 수 있도록 지원할 뿐만 아니라 부정확한 검색에 대한 견고성을 보장하는 것을 목표로 합니다. 이는 제시된 질문(프롬프트), 검색된 도메인별 문서, 적절한 답변 간의 역학을 이해하도록 모델을 훈련함으로써 달성할 수 있습니다. 비유를 들어, 우리의 접근 방식은 관련성 있는 검색 문서와 관련 없는 검색 문서를 인식하여 오픈북 시험을 공부하는 것과 유사합니다.