Using the above datasets and baselines, we evaluate our model RAFT and demonstrate the effectiveness of RAFT in Tab. 1. We see that RAFT consistently and significantly outperforms the baselines. Compared with the base Llama-2 instruction-tuned model, RAFT with RAG does much better in terms of extracting information as well as being robust towards distractors. The gain can be as big as 35.25% on Hotpot QA and 76.35% on Torch Hub evaluation. Compared with DSF on the specific dataset, our model does better at relying on the provided context to solve the problem. RAFT does much better on tasks like HotpotQA and HuggingFace datasets (30.87% on HotpotQA and 31.41% on HuggingFace). Note that for PubMed QA, since it is a binary yes/no question, we don't observe significant gains when we compare our model with DSF + RAG. Even compared with a much larger and better model GPT-3.5, RAFT demonstrates significant advantages.
위의 데이터 세트와 베이스라인을 사용하여 모델 RAFT를 평가하고 Tab. 1에서 RAFT의 효과를 입증합니다. RAFT가 일관되고 상당히 베이스라인보다 우수한 성능을 보이는 것을 확인할 수 있습니다. 기본 Llama-2 Instruction-tuned 모델과 비교했을 때, RAG를 사용한 RAFT는 정보 추출 측면에서 훨씬 더 우수하며 방해 요소에 대한 Robustness도 뛰어납니다. Hotpot QA에서는 최대 35.25%, Torch Hub 평가에서는 76.35%까지 성능이 향상될 수 있습니다. 특정 데이터 세트에서 DSF와 비교했을 때, 우리 모델은 제공된 컨텍스트에 의존하여 문제를 해결하는 데 더 나은 성능을 보입니다. RAFT는 HotpotQA 및 HuggingFace 데이터 세트와 같은 작업에서 훨씬 더 나은 성능을 보입니다(HotpotQA의 경우 30.87%, HuggingFace의 경우 31.41%). PubMed QA의 경우 이진식 예/아니요 질문이므로 DSF와 비교할 때 모델에서 큰 이득을 관찰할 수 없습니다. 훨씬 더 크고 나은 모델인 GPT-3.5와 비교하더라도 RAFT는 상당한 장점을 보여줍니다.
위의 데이터 세트와 베이스라인을 사용하여 모델 RAFT를 평가하고 Tab. 1에서 RAFT의 효과를 입증합니다. RAFT가 일관되고 상당히 베이스라인보다 우수한 성능을 보이는 것을 확인할 수 있습니다. 기본 Llama-2 명령어 튜닝 모델과 비교했을 때, RAG를 사용한 RAFT는 정보 추출 측면에서 훨씬 더 우수하며 방해 요소에 대한 견고성도 뛰어납니다. 핫팟 QA에서는 최대 35.25%, 토치 허브 평가에서는 76.35%까지 성능이 향상될 수 있습니다. 특정 데이터 세트에서 DSF와 비교했을 때, 우리 모델은 제공된 컨텍스트에 의존하여 문제를 해결하는 데 더 나은 성능을 보입니다. RAFT는 HotpotQA 및 HuggingFace 데이터 세트와 같은 작업에서 훨씬 더 나은 성능을 보입니다(HotpotQA의 경우 30.87%, HuggingFace의 경우 31.41%). PubMed QA의 경우 이진식 예/아니요 질문이므로 DSF와 비교할 때 모델에서 큰 이득을 관찰할 수 없습니다. 훨씬 더 크고 나은 모델인 GPT-3.5와 비교하더라도 RAFT는 상당한 장점을 보여줍니다.