Retrieval augmented generation (RAG) is often used to fix hallucinations and provide up-to-date knowledge for large language models (LLMs). However, in cases when the LLM alone incorrectly answers a question, does providing the correct retrieved content always fix the error? Conversely, in cases where the retrieved content is incorrect, does the LLM know to ignore the wrong information, or does it recapitulate the error? To answer these questions, we systematically analyze the tug-of-war between a LLM's internal knowledge (i.e. its prior) and the retrieved information in settings when they disagree. We test GPT-4 and other LLMs on question-answering abilities across datasets with and without reference documents. As expected, providing the correct retrieved information fixes most model mistakes (94% accuracy). However, when the reference document is perturbed with increasing levels of wrong values, the LLM is more likely to recite the incorrect, modified information when its internal prior is weaker but is more resistant when its prior is stronger. Similarly, we also find that the more the modified information deviates from the model's prior, the less likely the model is to prefer it. These results highlight an underlying tension between a model's prior knowledge and the information presented in reference documents.
리트리벌 증강 생성(RAG)은 종종 대규모 언어 모델(LLM)의 hallucination을 수정하고 최신 지식을 제공하는 데 사용됩니다. 그러나 LLM만으로 질문에 잘못 답하는 경우, 올바른 검색 콘텐츠를 제공하면 항상 오류가 수정되나요? 반대로 검색된 콘텐츠가 잘못된 경우 LLM이 잘못된 정보를 무시해야 하는지, 아니면 오류를 반복해야 하는지 알고 있나요? 이러한 질문에 답하기 위해, 우리는 LLM의 내부 지식(즉, prior)과 검색된 정보가 서로 동의하지 않는 설정에서 LLM의 내부 지식과 검색된 정보 사이의 줄다리기를 체계적으로 분석합니다. 참조 문서가 있는 데이터 세트와 없는 데이터 세트에서 질문에 대한 답변 능력에 대해 GPT-4 및 기타 LLM을 테스트합니다. 예상대로 올바른 검색 정보를 제공하면 대부분의 모델 실수(정확도 94%)를 수정할 수 있습니다. 그러나 참조 문서가 점점 더 많은 수준의 잘못된 값으로 교란될 때, LLM은 내부 prior가 약할 때는 잘못된 수정된 정보를 암송할 가능성이 높지만 prior가 강할 때는 더 강한 저항력을 보입니다. 마찬가지로 수정된 정보가 모델의 prior에서 벗어날수록 모델이 선호할 가능성이 낮다는 사실도 발견했습니다. 이러한 결과는 모델의 사전 지식과 참조 문서에 제시된 정보 사이에 근본적인 긴장이 있음을 강조합니다.
리트리벌 증강 생성(RAG)은 종종 대규모 언어 모델(LLM)의 환각을 수정하고 최신 지식을 제공하는 데 사용됩니다. 그러나 LLM만으로 질문에 잘못 답하는 경우, 올바른 검색 콘텐츠를 제공하면 항상 오류가 수정되나요? 반대로 검색된 콘텐츠가 잘못된 경우 LLM이 잘못된 정보를 무시해야 하는지, 아니면 오류를 반복해야 하는지 알고 있나요? 이러한 질문에 답하기 위해, 우리는 LLM의 내부 지식(즉, 선험)과 검색된 정보가 서로 동의하지 않는 설정에서 LLM의 내부 지식과 검색된 정보 사이의 줄다리기를 체계적으로 분석합니다. 참조 문서가 있는 데이터 세트와 없는 데이터 세트에서 질문에 대한 답변 능력에 대해 GPT-4 및 기타 LLM을 테스트합니다. 예상대로 올바른 검색 정보를 제공하면 대부분의 모델 실수(정확도 94%)를 수정할 수 있습니다. 그러나 참조 문서가 점점 더 많은 수준의 잘못된 값으로 교란될 때, LLM은 내부 선험이 약할 때는 잘못된 수정된 정보를 암송할 가능성이 높지만 선험이 강할 때는 더 강한 저항력을 보입니다. 마찬가지로 수정된 정보가 모델의 선험에서 벗어날수록 모델이 선호할 가능성이 낮다는 사실도 발견했습니다. 이러한 결과는 모델의 사전 지식과 참조 문서에 제시된 정보 사이에 근본적인 긴장이 있음을 강조합니다.