In this work, we aim to quantify the tension between LLMs' internal knowledge and the retrieved information presented in RAG settings. To tease apart these two competing forces, we query LLMs to answer questions and measure the token probabilities while introducing varying perturbations to reference documents.
이 연구에서 우리는 RAG 설정에서 제시된 LLM의 내부 지식과 검색된 정보 간의 긴장 관계를 정량화하는 것을 목표로 합니다. 이 두 가지 경쟁하는 힘을 분리하기 위해, 우리는 LLM에게 질문을 하여 답변을 얻고, 참조 문서에 다양한 변화를 주면서 토큰 확률을 측정합니다.
이 연구에서는 LLM의 내부 지식과 RAG 설정에서 제시된 검색된 정보 사이의 긴장을 정량화하는 것을 목표로 합니다. 이 두 가지 상반되는 힘을 분리하기 위해 LLM에 질문을 던져 참조 문서에 다양한 섭동을 도입하면서 토큰 확률을 측정합니다.