Most commercial LLMs, like ChatGPT (OpenAI, 2023), Gemini (Gemini Team, 2023), and Perplexity.ai already employ some version of RAG in their Web interfaces. For example, ChatGPT employs a Bing search whereas Gemini accesses Google Search results. Though RAG has quickly become a default feature of user-facing LLM systems, most evaluations of LLM capabilities are still performed on the non-RAG counterparts (Zheng et al., 2023). This is problematic, as a model's default and RAG-enabled responses can drastically diverge depending on the quality and accuracy of the retrieved content. This problem is compounded when considering that web results constantly change, and can contain outdated, incorrect, or harmful information (Dash et al., 2023; Daws, 2020; Nastasi et al., 2023). Thus, objective evaluations of RAG-enabled LLM behavior are as important as benchmarking their non-RAG counterparts, especially as RAG systems are increasingly relied upon to provide factual information in a myriad of domains.
ChatGPT(OpenAI, 2023), Gemini(Gemini Team, 2023), Perplexity.ai 등 대부분의 상용 LLM은 웹 인터페이스에서 이미 일부 버전의 Retrieval-augmented generation (RAG)를 사용하고 있습니다. 예를 들어, ChatGPT는 Bing 검색을 사용하는 반면 Gemini는 Google 검색 결과에 액세스합니다. RAG는 사용자 대면 LLM 시스템의 기본 기능으로 빠르게 자리 잡았지만, 대부분의 LLM 기능 평가는 여전히 비-RAG에 대한 평가가 이루어지고 있습니다(Zheng et al., 2023). 검색된 콘텐츠의 품질과 정확도에 따라 모델의 기본 및 RAG 지원 응답이 크게 달라질 수 있으므로 이는 문제가 됩니다. 이 문제는 웹 결과가 지속적으로 변경되고 오래된, 잘못된 또는 유해한 정보를 포함할 수 있다는 점을 고려할 때 더욱 복잡해집니다(Dash et al., 2023; Daws, 2020; Nastasi et al., 2023). 따라서 다양한 영역에서 사실 정보를 제공하기 위해 RAG 지원 LLM 시스템에 점점 더 많이 의존하고 있는 상황에서 비-RAG 지원 LLM을 벤치마킹하는 것만큼이나 RAG 지원 LLM 동작에 대한 객관적인 평가가 중요합니다.
ChatGPT(OpenAI, 2023), Gemini(Gemini Team, 2023), Perplexity.ai 등 대부분의 상용 LLM은 웹 인터페이스에서 이미 일부 버전의 RAG를 사용하고 있습니다. 예를 들어, ChatGPT는 Bing 검색을 사용하는 반면 Gemini는 Google 검색 결과에 액세스합니다. RAG는 사용자 대면 LLM 시스템의 기본 기능으로 빠르게 자리 잡았지만, 대부분의 LLM 기능 평가는 여전히 비-RAG에 대한 평가가 이루어지고 있습니다(Zheng et al., 2023). 검색된 콘텐츠의 품질과 정확도에 따라 모델의 기본 및 RAG 지원 응답이 크게 달라질 수 있으므로 이는 문제가 됩니다. 이 문제는 웹 결과가 지속적으로 변경되고 오래된, 잘못된 또는 유해한 정보를 포함할 수 있다는 점을 고려할 때 더욱 복잡해집니다(Dash et al., 2023; Daws, 2020; Nastasi et al., 2023). 따라서 다양한 영역에서 사실 정보를 제공하기 위해 RAG 지원 LLM 시스템에 점점 더 많이 의존하고 있는 상황에서 비-RAG 지원 LLM을 벤치마킹하는 것만큼이나 RAG 지원 LLM 동작에 대한 객관적인 평가가 중요합니다.