RAG systems have a unique appeal over traditional search engines in that they can incorporate prior knowledge to fill in the gaps and extrapolate the retrieved information. We find that this comes with trade-offs - namely, that such priors can override information provided in documents. When perturbing RAG documents over a wide interval of values, the point at which models revert to their prior responses, or "tipping points", are latent and heterogeneous across different models and domains. While strong priors are not inherently problematic (and can often serve to safeguard models), the lack of explicit expectations around how models will mix reference documents with their priors can lead to downstream issues. For example, if RAG systems are used to extract nested financial data to be used in an algorithm, what will happen if there is a typo in the financial documents? Will the model notice the error and if so, what data will it provide in its place? Given that LLMs are soon to be widely deployed in many domains including medicine and law, users and developers alike should be cognizant of their unintended effects, especially if users have preconceptions that RAG-enabled systems are, by nature, always truthful.
RAG 시스템은 기존 지식을 통합하여 부족한 부분을 채우고 검색된 정보를 추정할 수 있다는 점에서 기존 검색 엔진에 비해 독특한 매력을 지니고 있습니다. 그러나 이러한 이점에는 trade-offs가 있는데, 이러한 priors가 문서에 제공된 정보를 덮어쓸 수 있다는 점입니다. 다양한 값 간격에 걸쳐 RAG 문서를 교란할 때, 모델이 이전 응답으로 되돌아가는 시점, 즉 'tipping points'는 잠재적이며 모델과 도메인에 따라 이질적입니다. 강력한 priors가 본질적으로 문제가 되는 것은 아니며(종종 모델을 보호하는 역할을 할 수도 있음), 모델이 참조 문서와 priors를 혼합하는 방식에 대한 명시적인 기대치가 부족하면 downstream에서 문제가 발생할 수 있습니다. 예를 들어, 알고리즘에 사용할 중첩된 재무 데이터를 추출하는 데 RAG 시스템을 사용하는 경우 재무 문서에 오타가 있는 경우 어떻게 처리할 수 있을까요? 모델이 오류를 감지하고 감지한다면 어떤 데이터를 대신 제공할까요? LLM이 의료 및 법률을 포함한 많은 영역에 곧 널리 배포될 예정이므로, 사용자와 개발자 모두 모델의 의도하지 않은 영향, 특히 RAG 지원 시스템이 본질적으로 항상 진실하다고 생각하는 사용자의 오해에 주의를 기울여야 합니다.
RAG 시스템은 기존 지식을 통합하여 부족한 부분을 채우고 검색된 정보를 추정할 수 있다는 점에서 기존 검색 엔진에 비해 독특한 매력을 지니고 있습니다. 그러나 이러한 이점에는 장단점이 있는데, 이러한 선험이 문서에 제공된 정보를 덮어쓸 수 있다는 점입니다. 다양한 값 간격에 걸쳐 RAG 문서를 교란할 때, 모델이 이전 응답으로 되돌아가는 시점, 즉 '선험적 지점'은 잠재적이며 모델과 도메인에 따라 이질적입니다. 강력한 선험이 본질적으로 문제가 되는 것은 아니며(종종 모델을 보호하는 역할을 할 수도 있음), 모델이 참조 문서와 선험을 혼합하는 방식에 대한 명시적인 기대치가 부족하면 다운스트림에서 문제가 발생할 수 있습니다. 예를 들어, 알고리즘에 사용할 중첩된 재무 데이터를 추출하는 데 RAG 시스템을 사용하는 경우 재무 문서에 오타가 있는 경우 어떻게 처리할 수 있을까요? 모델이 오류를 감지하고 감지한다면 어떤 데이터를 대신 제공할까요? LLM이 의료 및 법률을 포함한 많은 영역에 곧 널리 배포될 예정이므로, 사용자와 개발자 모두 모델의 의도하지 않은 영향, 특히 RAG 지원 시스템이 본질적으로 항상 진실하다고 생각하는 사용자의 오해에 주의를 기울여야 합니다.