Our main analysis consists of evaluating the RAG question-answering capabilities of GPT-4 when introducing varying levels of perturbations on the RAG documents. For this study, our dataset consists of 1,294 total questions across 6 different domains. Wherever referenced, the GPT-4 model used is _gpt-4-turbo-preview_, accessed in March 2024. We additionally evaluate our dataset on two other models: GPT3.5 (_gpt-3.5-turbo-0125_) and Mistral-7B, the _Mistral-7B-Instituct-v0.1_. We chose these two LLMs as they are top-performing models that also allow access to the model's token probabilities (via the OpenAI and Huggingface APIs). All main figures and tables report results using GPT-4; analyses using GPT-3.5 and Mistral-7B are reported in the Appendix.
주요 분석은 RAG 문서에 다양한 수준의 섭동을 도입할 때 GPT-4의 Retrieval-augmented generation (RAG) 질문-답변 기능을 평가하는 것입니다. 이 연구를 위해 데이터 세트는 6개의 서로 다른 도메인에 걸쳐 총 1,294개의 질문으로 구성됩니다. 언급되는 모든 경우에 GPT-4 모델은 2024년 3월에 액세스한 _gpt-4-turbo-preview_입니다. 또한 두 개의 다른 모델에 대한 데이터 세트를 평가합니다: GPT3.5(_gpt-3.5-turbo-0125_)와 Mistral-7B(_Mistral-7B-Instituct-v0.1_)입니다. 이 두 Large Language Models (LLMs)은 모델의 토큰 확률에 대한 액세스를 허용하는 최고 성능 모델이기 때문에 선택했습니다(OpenAI 및 Huggingface API를 통해). 모든 주요 그림과 표는 GPT-4를 사용하여 결과를 보고하며, GPT-3.5 및 Mistral-7B를 사용한 분석은 부록에 보고되어 있습니다.
주요 분석은 RAG 문서에 다양한 수준의 섭동을 도입할 때 GPT-4의 RAG 질문-답변 기능을 평가하는 것입니다. 이 연구를 위해 데이터 세트는 6개의 서로 다른 도메인에 걸쳐 총 1,294개의 질문으로 구성됩니다. 언급되는 모든 경우에 GPT-4 모델은 2024년 3월에 액세스한 _gpt-4-turbo-preview_입니다. 또한 두 개의 다른 모델에 대한 데이터 세트를 평가합니다: GPT3.5(_gpt-3.5-turbo-0125_)와 Mistral-7B(_Mistral-7B-Instituct-v0.1_)입니다. 이 두 LLM은 모델의 토큰 확률에 대한 액세스를 허용하는 최고 성능 모델이기 때문에 선택했습니다(OpenAI 및 Huggingface API를 통해). 모든 주요 그림과 표는 GPT-4를 사용하여 결과를 보고하며, GPT-3.5 및 Mistral-7B를 사용한 분석은 부록에 보고되어 있습니다.