RAFT is a training strategy designed to enhance the model's performance in answering questions within a specific domain, in "open-book" settings. This technique demonstrates a fine-tuning recipe for LLMs for question-answering tasks based on a selected collection of documents. We have pinpointed several crucial design decisions, such as training the model alongside distractor documents, organizing the dataset so a portion lacks oracle documents in their context, and formulating answers in a chain-of-thought manner with direct quotations from the relevant text. Our evaluations on PubMed, HotpotQA, and Gorilla API Bench underline RAFT's significant potential. Looking forward, we anticipate that in-domain Retrieval-Augmented Generation (RAG) will continue to gain interest within both industrial and academic spheres. Unlike general-RAG, our work addresses practical scenarios where LLMs are tasked with answering questions using domain-specific knowledge. Aligning with current trends, our findings suggest that smaller, fine-tuned models are capable of performing comparably well in domain-specific question-answering tasks, in contrast to their generic LLM counterparts.
RAFT는 특정 도메인 내에서 질문에 답하는 모델의 성능을 향상시키기 위해 고안된 훈련 전략으로, '오픈 북' 환경에서 사용됩니다. 이 기법은 선택한 문서 컬렉션을 기반으로 질문 답변 작업을 위한 LLM에 대한 Fine-tuning 레시피를 보여줍니다. 저희는 모델을 산만한 문서와 함께 훈련하고, 데이터 세트를 구성하여 일부 문맥에서 오라클 문서가 없는 경우, 관련 텍스트에서 직접 인용하여 생각의 사슬 방식으로 답변을 공식화하는 등 몇 가지 중요한 설계 결정을 정확히 파악했습니다. PubMed, HotpotQA 및 Gorilla API Bench에 대한 평가는 RAFT의 상당한 잠재력을 강조합니다. 앞으로도 산업계와 학계 모두에서 도메인 Retrieval-Augmented Generation (RAG)에 대한 관심이 계속 증가할 것으로 예상합니다. 일반적인 RAG와 달리, 저희의 연구는 LLM이 도메인별 지식을 사용하여 질문에 답해야 하는 실제 시나리오를 다루고 있습니다. 최근의 추세에 부합하는 연구 결과에 따르면, 소규모의 Fine-tuned 모델이 일반적인 LLM과 달리 도메인별 질문 답변 작업에서 비슷한 수준의 성능을 발휘할 수 있다고 합니다.
RAFT는 특정 도메인 내에서 질문에 답하는 모델의 성능을 향상시키기 위해 고안된 훈련 전략으로, '오픈 북' 환경에서 사용됩니다. 이 기법은 선택한 문서 컬렉션을 기반으로 질문 답변 작업을 위한 LLM에 대한 미세 조정 레시피를 보여줍니다. 저희는 모델을 산만한 문서와 함께 훈련하고, 데이터 세트를 구성하여 일부 문맥에서 오라클 문서가 없는 경우, 관련 텍스트에서 직접 인용하여 생각의 사슬 방식으로 답변을 공식화하는 등 몇 가지 중요한 설계 결정을 정확히 파악했습니다. PubMed, HotpotQA 및 Gorilla API Bench에 대한 평가는 RAFT의 상당한 잠재력을 강조합니다. 앞으로도 산업계와 학계 모두에서 도메인 검색 증강 생성(RAG)에 대한 관심이 계속 증가할 것으로 예상합니다. 일반적인 RAG와 달리, 저희의 연구는 LLM이 도메인별 지식을 사용하여 질문에 답해야 하는 실제 시나리오를 다루고 있습니다. 최근의 추세에 부합하는 연구 결과에 따르면, 소규모의 미세 조정 모델이 일반적인 LLM과 달리 도메인별 질문 답변 작업에서 비슷한 수준의 성능을 발휘할 수 있다고 합니다.