There are several key limitations in our analyses. First, RAG systems can be deployed to many more domains than can be covered by our analyses. However, we hope that our study ixix domains paints an initial picture of the nature of RAG systems. Second, to make our experiments tractable, our question-generation process is strictly fact-based and does not require multi-step logic, document synthesis, or other higher-level reasoning. Third, the perturbations we produce are based on our priors for what would constitute a reasonable or unreasonable range of values. In a natural setting, we would imagine more discrete types of errors (eg. typos, ambiguities, missing information, etc.) which are harder to simulate. We also perform evaluations on GPT-3.5 and GPT-4 because the OpenAI API allows for access to token-wise log probabilities along with the responses. As a consequence, we are limited against performing more comprehensive evaluations on models such as Gemini and Claude because the APIs for these models do not provide access to such information.
우리의 분석에는 몇 가지 주요 제한 사항이 있습니다. 첫째, RAG 시스템은 우리의 분석이 다룰 수 있는 범위보다 훨씬 더 많은 도메인에 배포될 수 있습니다. 그러나 우리는 우리의 연구가 RAG 시스템의 본질에 대한 초기 그림을 그리기를 바랍니다. 둘째, 실험을 다루기 쉽게 만들기 위해, 우리의 질문 생성 과정은 엄격히 사실 기반이며 다단계 논리, 문서 종합 또는 기타 고차원적 추론을 요구하지 않습니다. 셋째, 우리가 생성하는 변형은 합리적이거나 비합리적인 값의 범위를 구성할 것이라는 우리의 사전 지식에 기반합니다. 자연 환경에서는 시뮬레이션하기 어려운 더 불연속적인 오류 유형(예: 오타, 모호성, 정보 누락 등)을 상상할 수 있습니다. 우리는 또한 GPT-3.5와 GPT-4에 대한 평가를 수행하는데, 이는 OpenAI API가 응답과 함께 토큰 단위의 로그 확률에 접근할 수 있게 해주기 때문입니다. 결과적으로, Gemini와 Claude와 같은 모델에 대한 더 포괄적인 평가를 수행하는 데 제한이 있습니다. 이러한 모델의 API는 이러한 정보에 접근할 수 없기 때문입니다.
분석에는 몇 가지 주요 한계가 있습니다. 첫째, RAG 시스템은 분석에서 다룰 수 있는 것보다 훨씬 더 많은 도메인에 배포될 수 있습니다. 그러나 이 연구가 9개의 도메인에 대한 분석을 통해 RAG 시스템의 본질에 대한 초기 그림을 그릴 수 있기를 바랍니다. 둘째, 실험을 수행하기 위해 질문 생성 프로세스는 엄격하게 사실에 기반하며 다단계 논리, 문서 합성 또는 기타 고급 추론이 필요하지 않습니다. 셋째, 우리가 생성하는 섭동은 합리적 또는 비합리적 범위의 값이 무엇인지에 대한 선험적 지식을 기반으로 합니다. 실제 환경에서는 더 이산적인 유형의 오류(예: 오타, 모호성, 정보 누락 등)가 발생할 수 있으며, 이는 시뮬레이션하기가 더 어렵습니다. 또한 OpenAI API를 통해 응답과 함께 토큰별 로그 확률에 액세스할 수 있기 때문에 GPT-3.5와 GPT-4에 대한 평가를 수행합니다. 결과적으로 이러한 모델의 API는 이러한 정보에 대한 액세스를 제공하지 않기 때문에 Gemini 및 Claude와 같은 모델에 대한 보다 포괄적인 평가를 수행할 수 없습니다.