In our exploration of whether large language models (LLMs) should always be trained with the oracle context for Retrieval-Augmented Generation (RAG), we address a key question: what proportion (p%) of the training data should include oracle documents? Intuitively, one might assume that for effective training in reading and extracting information from context (e.g., RAG tasks), the oracle document should always be included during training (P = 100%). However, our findings challenge this assumption: incorporating a portion of the training data without the oracle document in the context (P = 80%) appears to enhance the model's performance on RAG tasks.
대규모 언어 모델(LLM)이 항상 Retrieval-Augmented Generation (RAG)을 위해 oracle context로 학습해야 하는지 여부를 탐구하는 과정에서 훈련 데이터의 몇 퍼센트(p%)에 oracle 문서를 포함시켜야 하는지에 대한 핵심 질문을 다룹니다. 직관적으로는 문맥에서 정보를 읽고 추출하는 데 효과적인 훈련(예: RAG 작업)을 위해서는 훈련 중에 항상 oracle 문서를 포함시켜야 한다고 생각할 수 있습니다(P = 100%). 그러나 우리의 연구 결과는 이러한 가정에 도전합니다. oracle 문서가 없는 문맥(P = 80%)의 일부를 훈련 데이터에 포함시키는 것이 RAG 작업에서 모델의 성능을 향상시키는 것으로 나타났습니다.
대규모 언어 모델(LLM)이 항상 검색 증강 생성(RAG)을 위해 오라클 컨텍스트로 학습해야 하는지 여부를 탐구하는 과정에서 훈련 데이터의 몇 퍼센트(p%)에 오라클 문서를 포함시켜야 하는지에 대한 핵심 질문을 다룹니다. 직관적으로는 문맥에서 정보를 읽고 추출하는 데 효과적인 훈련(예: RAG 작업)을 위해서는 훈련 중에 항상 오라클 문서를 포함시켜야 한다고 생각할 수 있습니다(P = 100%). 그러나 우리의 연구 결과는 이러한 가정에 도전합니다. 오라클 문서가 없는 문맥(P = 80%)의 일부를 훈련 데이터에 포함시키는 것이 RAG 작업에서 모델의 성능을 향상시키는 것으로 나타났습니다.