Retrieval Aware Fine-Tuning (RAFT), presents a novel recipe to prepare fine-tuning data to tailor the models for domain specific open-book settings, equivalent to in-domain RAG In RAFT, we prepare the training data such that each data point contains a question (\(Q\)), a set of documents (\(D_{k}\)), and a corresponding Chain-of-though style answer (\(A^{*}\)) generated from one of the document (\(D^{*}\)). We differentiate between two types of documents: 'oracle' documents (\(D*\)) i.e. the documents from which the answer to the question can be deduced, and 'distractor' documents (\(D_{i}\)) that do not contain answer-relevant information. As an implementation detail, the 'oracle' document doesn't need to be a single document, but can be more than one document, as is the case in HotpotQA (Yang et al., 2018). Then, for \(P\) fraction of the questions (\(q_{i}\)) in the dataset, we retain the oracle document (\(d_{i}^{*}\)) along with distractor documents (\(d_{k-1}\)). For \((1-P)\) fraction of the questions (\(q_{i}\)) in the dataset, we include no oracle document and only include distractor documents (\(d_{k}\)). We then fine-tune the language model using the standard supervised training (SFT) technique, training it to generate answers from the provided documents and questions. Fig. 2 illustrates the high-level design principal for RAFT.
리트리벌 인식 Fine-tuning (RAFT)은 도메인 특정 오픈 북 설정에 맞게 모델을 조정하기 위한 Fine-tuning 데이터를 준비하는 새로운 레시피를 제시하며, 이는 도메인 내 RAG에 해당합니다. RAFT에서는 각 데이터 포인트에 질문(\(Q\)), 문서 집합(\(D_{k}\)), 그리고 문서 중 하나에서 생성된 해당 사고의 사슬 스타일 답변(\(A^{*}\))을 포함하도록 훈련 데이터를 준비합니다. 우리는 질문에 대한 답을 추론할 수 있는 문서(즉, '오라클' 문서(\(D*\))와 답과 관련된 정보가 포함되지 않은 '방해 요소' 문서(\(D_{i}\))의 두 가지 유형의 문서를 구분합니다. 구현 세부 사항으로서, '오라클' 문서가 하나의 문서일 필요는 없으며, HotpotQA(Yang et al., 2018)의 경우처럼 하나 이상의 문서가 될 수 있습니다. 그런 다음 데이터 세트의 질문(\(q_{i}\)) 중 \(P\) 분수에 대해 오라클 문서(\(d_{i}^{*}\))를 방해 요소 문서(\(d_{k-1}\))와 함께 유지합니다. 데이터 세트의 \((1-P)\) 분수의 질문(\(q_{i}\))에 대해서는 오라클 문서를 포함하지 않고 방해 요소 문서(\(d_{k}\))만 포함합니다. 그런 다음 표준 지도 훈련(SFT) 기법을 사용하여 언어 모델을 Fine-tuning하여 제공된 문서와 질문에서 답을 생성하도록 훈련합니다. 그림 2는 RAFT의 높은 수준의 설계 원리를 보여줍니다.
리트리벌 인식 미세 조정(RAFT)은 도메인 특정 오픈 북 설정에 맞게 모델을 조정하기 위한 미세 조정 데이터를 준비하는 새로운 레시피를 제시하며, 이는 도메인 내 RAG에 해당합니다. RAFT에서는 각 데이터 포인트에 질문(\(Q\)), 문서 집합(\(D_{k}\)), 그리고 문서 중 하나에서 생성된 해당 사고의 사슬 스타일 답변(\(A^{*}\))을 포함하도록 훈련 데이터를 준비합니다. 우리는 질문에 대한 답을 추론할 수 있는 문서(즉, '오라클' 문서(\(D*\))와 답과 관련된 정보가 포함되지 않은 '방해 요소' 문서(\(D_{i}\))의 두 가지 유형의 문서를 구분합니다. 구현 세부 사항으로서, '오라클' 문서가 하나의 문서일 필요는 없으며, HotpotQA(Yang et al., 2018)의 경우처럼 하나 이상의 문서가 될 수 있습니다. 그런 다음 데이터 세트의 질문(\(q_{i}\)) 중 \(P\) 분수에 대해 오라클 문서(\(d_{i}^{*}\))를 방해 요소 문서(\(d_{k-1}\))와 함께 유지합니다. 데이터 세트의 \((1-P)\) 분수의 질문(\(q_{i}\))에 대해서는 오라클 문서를 포함하지 않고 방해 요소 문서(\(d_{k}\))만 포함합니다. 그런 다음 표준 지도 훈련(SFT) 기법을 사용하여 언어 모델을 미세 조정하여 제공된 문서와 질문에서 답을 생성하도록 훈련합니다. 그림 2는 RAFT의 높은 수준의 설계 원리를 보여줍니다.