Fig. 5 presents our investigation into the hyperparameter P%, which represents the percentage of training instances that should include oracle documents. Our analysis reveals that the optimal proportion varies across datasets, with figures ranging from 40%, 60%, and 100%. This indicates that training your LLM without the correct corresponding context at times can be beneficial for the downstream task of answering questions related to the documents. In our training setup, we include four distractor documents alongside the oracle document, and at test time, we maintain this format by providing the oracle document with four distractors. Our findings suggest that, for domain specific RAG tasks, including a certain percentage of training data without the oracle documents in the context proves to be advantageous.
그림 5는 오라클 문서를 포함해야 하는 훈련 인스턴스의 비율을 나타내는 하이퍼파라미터 P%에 대한 조사 결과를 보여줍니다. 분석 결과, 최적의 비율은 데이터 세트마다 다르며, 40%, 60%, 100%의 수치를 보였습니다. 이는 때때로 올바른 해당 컨텍스트 없이 LLM을 훈련하는 것이 문서와 관련된 질문에 대한 다운스트림 작업에 도움이 될 수 있음을 나타냅니다. 훈련 설정에서는 오라클 문서와 함께 4개의 산만 문서를 포함하며, 테스트 시에는 오라클 문서에 4개의 산만 문서를 제공하여 이 형식을 유지합니다. 연구 결과, 도메인별 Retrieval-augmented generation (RAG) 작업의 경우 오라클 문서가 없는 컨텍스트의 특정 비율의 훈련 데이터를 포함하는 것이 유리하다는 것을 알 수 있었습니다.
그림 5는 오라클 문서를 포함해야 하는 훈련 인스턴스의 비율을 나타내는 하이퍼파라미터 P%에 대한 조사 결과를 보여줍니다. 분석 결과, 최적의 비율은 데이터 세트마다 다르며, 40%, 60%, 100%의 수치를 보였습니다. 이는 때때로 올바른 해당 컨텍스트 없이 LLM을 훈련하는 것이 문서와 관련된 질문에 대한 다운스트림 작업에 도움이 될 수 있음을 나타냅니다. 훈련 설정에서는 오라클 문서와 함께 4개의 산만 문서를 포함하며, 테스트 시에는 오라클 문서에 4개의 산만 문서를 제공하여 이 형식을 유지합니다. 연구 결과, 도메인별 RAG 작업의 경우 오라클 문서가 없는 컨텍스트의 특정 비율의 훈련 데이터를 포함하는 것이 유리하다는 것을 알 수 있었습니다.