We design our experiments to study how well RAFT performs compared to various baselines. We find that the RAFT-7B model (a finetuned version of LlaMA-2) is better at reading and extracting information from in-domain documents, than domain specific finetuned model, and general-purpose model with RAG. As an ablation, we also demonstrate how important it is for the model to learn with Chain-of-Thought responses. In this section, we will first introduce all the datasets we used in the experiments, then all the baseline model/fine-tuning techniques that we benchmark against.
다양한 baseline과 비교하여 RAFT가 얼마나 잘 수행되는지 연구하기 위해 실험을 설계했습니다. 도메인별로 Fine-tuned된 모델과 RAG를 사용한 범용 모델보다 RAFT-7B 모델(LlaMA-2의 Fine-tuned 버전)이 도메인 내 문서를 읽고 정보를 추출하는 데 더 우수하다는 것을 발견했습니다. 또한 모델이 Chain-of-Thought 응답을 통해 학습하는 것이 얼마나 중요한지 실험을 통해 입증했습니다. 이 섹션에서는 먼저 실험에 사용된 모든 데이터 세트를 소개한 다음, 벤치마크 대상인 모든 baseline 모델/Fine-tuning 기법을 소개합니다.
다양한 베이스라인과 비교하여 RAFT가 얼마나 잘 수행되는지 연구하기 위해 실험을 설계했습니다. 도메인별로 미세 조정된 모델과 RAG를 사용한 범용 모델보다 RAFT-7B 모델(LlaMA-2의 미세 조정 버전)이 도메인 내 문서를 읽고 정보를 추출하는 데 더 우수하다는 것을 발견했습니다. 또한 모델이 생각의 사슬 응답을 통해 학습하는 것이 얼마나 중요한지 실험을 통해 입증했습니다. 이 섹션에서는 먼저 실험에 사용된 모든 데이터 세트를 소개한 다음, 벤치마크 대상인 모든 기준 모델/미세 조정 기법을 소개합니다.