Our findings, detailed in Fig. 6, reveal that finetuning with only the oracle document frequently results in inferior performance compared to configurations that include a greater number of distractor documents. As we can see in the figure, the better performance for Natural Questions is training with \(D^{*}+3D\) and it is \(D^{*}+1D\) documents with Hotpot QA. This insight has been particularly beneficial for our algorithm, RAFT. In our experiments, we typically employ a training setup consisting of one oracle document alongside four distractor documents. This approach strikes a balance, ensuring the model is not overwhelmed by distractors while still gaining the ability to effectively discern and prioritize relevant information.
그림 6에 자세히 설명된 우리의 연구 결과에 따르면, 오라클 문서만으로 Fine-tuning하면 더 많은 수의 산만 문서를 포함하는 구성에 비해 성능이 떨어지는 경우가 많습니다. 그림에서 볼 수 있듯이, 자연 질문의 경우 더 나은 성능은 \(D^{*}+3D\)로 훈련하고, 핫팟 QA는 \(D^{*}+1D\) 문서로 훈련하는 것입니다. 이 인사이트는 특히 우리의 알고리즘인 RAFT에 큰 도움이 되었습니다. 실험에서는 일반적으로 오라클 문서 하나와 산만 문서 4개로 구성된 훈련 설정을 사용합니다. 이 접근 방식은 모델이 산만 문서에 압도되지 않으면서도 관련 정보를 효과적으로 구별하고 우선순위를 지정하는 능력을 갖출 수 있도록 균형을 맞추는 것입니다.
그림 6에 자세히 설명된 우리의 연구 결과에 따르면, 오라클 문서만으로 미세 조정하면 더 많은 수의 산만 문서를 포함하는 구성에 비해 성능이 떨어지는 경우가 많습니다. 그림에서 볼 수 있듯이, 자연 질문의 경우 더 나은 성능은 \(D^{*}+3D\)로 훈련하고, 핫팟 QA는 \(D^{*}+1D\) 문서로 훈련하는 것입니다. 이 인사이트는 특히 우리의 알고리즘인 RAFT에 큰 도움이 되었습니다. 실험에서는 일반적으로 오라클 문서 하나와 산만 문서 4개로 구성된 훈련 설정을 사용합니다. 이 접근 방식은 모델이 산만 문서에 압도되지 않으면서도 관련 정보를 효과적으로 구별하고 우선순위를 지정하는 능력을 갖출 수 있도록 균형을 맞추는 것입니다.