The issue of hallucination in LLMs has been explored in multiple contexts and models (Ji et al., 2023; Kaddour et al., 2023). As a response, RAG systems have been shown to reduce hallucination (Shuster et al., 2021; Kang et al., 2023). Previous works have explored automated RAG evaluation frameworks in various settings (Es et al., 2023; Hoshi et al., 2023; Saad-Falcon et al., 2023; Zhang et al., 2024). For example, some studies use LLMs to evaluate the faithfulness, answer relevance, and context relevance of RAG systems by using GPT-3.5 as an evaluator (Es et al., 2023; Saad-Falcon et al., 2023). In another study, the authors propose metrics such as noise robustness, negative rejection, information integration, and counterfactual robustness (Chen et al., 2024). Multiple studies have shown that RAG can mislead LLMs in the presence of complex or misleading search results and that such models can still make mistakes even when given the correct response (Foulds et al., 2024; Shuster et al., 2021). In relation to understanding model priors, other works have used log probabilities to assess the LLM's confidence in responses (Mitchell et al., 2023; Zhao et al., 2024). However, so far there has not been a systematic exploration of a model's confidence (via logprobs) and the model's preference for RAG-provided information.
LLM의 hallucination 문제는 여러 맥락과 모델(Ji et al., 2023; Kaddour et al., 2023)에서 탐구되어 왔습니다. 이에 대한 대응으로 RAG 시스템은 hallucination을 감소시키는 것으로 나타났습니다(Shuster et al., 2021; Kang et al., 2023). 이전 연구에서는 다양한 환경에서 자동화된 RAG 평가 프레임워크를 탐구했습니다(Es et al., 2023; Hoshi et al., 2023; Saad-Falcon et al., 2023; Zhang et al., 2024). 예를 들어, 일부 연구에서는 GPT-3.5를 평가자로 사용하여 RAG 시스템의 충실도, 답변 관련성 및 컨텍스트 관련성을 평가하기 위해 LLM을 사용합니다(Es et al., 2023; Saad-Falcon et al., 2023). 또 다른 연구에서는 노이즈 robustness, 부정 거부, 정보 통합 및 반사실적 robustness와 같은 메트릭을 제안합니다(Chen et al., 2024). 여러 연구에 따르면 복잡하거나 오해의 소지가 있는 검색 결과가 있는 경우 RAG가 LLM을 오도할 수 있으며, 이러한 모델은 정답이 주어진 경우에도 여전히 실수를 할 수 있습니다(Foulds et al., 2024; Shuster et al., 2021). 모델의 선험을 이해하는 것과 관련하여, 다른 연구에서는 log probabilities를 사용하여 LLM의 응답에 대한 신뢰도를 평가했습니다(Mitchell et al., 2023; Zhao et al., 2024). 그러나 지금까지 모델의 신뢰도(logprobs를 통해)와 RAG가 제공한 정보에 대한 모델의 선호도에 대한 체계적인 탐구는 이루어지지 않았습니다.
LLM의 환각 문제는 여러 맥락과 모델(Ji et al., 2023; Kaddour et al., 2023)에서 탐구되어 왔습니다. 이에 대한 대응으로 RAG 시스템은 환각을 감소시키는 것으로 나타났습니다(Shuster et al., 2021; Kang et al., 2023). 이전 연구에서는 다양한 환경에서 자동화된 RAG 평가 프레임워크를 탐구했습니다(Es et al., 2023; Hoshi et al., 2023; Saad-Falcon et al., 2023; Zhang et al., 2024). 예를 들어, 일부 연구에서는 GPT-3.5를 평가자로 사용하여 RAG 시스템의 충실도, 답변 관련성 및 컨텍스트 관련성을 평가하기 위해 LLM을 사용합니다(Es et al., 2023; Saad-Falcon et al., 2023). 또 다른 연구에서는 노이즈 견고성, 부정 거부, 정보 통합 및 반사실적 견고성과 같은 메트릭을 제안합니다(Chen et al., 2024). 여러 연구에 따르면 복잡하거나 오해의 소지가 있는 검색 결과가 있는 경우 RAG가 LLM을 오도할 수 있으며, 이러한 모델은 정답이 주어진 경우에도 여전히 실수를 할 수 있습니다(Foulds et al., 2024; Shuster et al., 2021). 모델의 선험을 이해하는 것과 관련하여, 다른 연구에서는 로그 확률을 사용하여 LLM의 응답에 대한 신뢰도를 평가했습니다(Mitchell et al., 2023; Zhao et al., 2024). 그러나 지금까지 모델의 신뢰도(로그 확률을 통해)와 RAG가 제공한 정보에 대한 모델의 선호도에 대한 체계적인 탐구는 이루어지지 않았습니다.