Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: [https://github.com/2471023025/RALM_Survey](https://github.com/2471023025/RALM_Survey).
대규모 언어 모델(LLMs)은 자연어 처리(NLP) 분야에서 상당한 발전을 이끌어냈지만, hallucination이나 도메인별 지식의 필요성과 같은 문제에 직면해 있습니다. 이러한 문제를 완화하기 위해 최근의 방법론에서는 외부 리소스에서 검색한 정보를 LLM과 통합하여 NLP 작업 전반에서 성능을 크게 향상시켰습니다. 이 설문조사 보고서는 Retrieval-Augmented Language Models (RALMs), 즉 Retrieval-Augmented Generation (RAG)과 Retrieval-Augmented Understanding (RAU)에 대한 포괄적인 개요가 부족하다는 점을 해결하고, 그 패러다임, 진화, 분류 및 응용에 대해 심층적으로 살펴봅니다. 이 백서에서는 Retrievers, Language Models, Augmentations 등 RALM의 필수 구성 요소와 이들이 상호 작용하여 다양한 모델 구조와 응용 프로그램으로 이어지는 방법에 대해 설명합니다. RALM은 번역 및 대화 시스템부터 지식 집약적인 애플리케이션에 이르기까지 다양한 작업에서 유용성을 입증했습니다. 이 설문조사에는 RALM의 여러 평가 방법이 포함되어 있으며, 평가 시 robustness, 정확성 및 관련성의 중요성을 강조합니다. 또한 retrieval 품질과 계산 효율성에서 RALM의 한계를 인정하고 향후 연구 방향을 제시합니다. 결론적으로, 이 설문조사는 RALM과 그 잠재력, 그리고 NLP 분야에서의 향후 발전 방향에 대한 체계적인 통찰력을 제공하는 것을 목표로 합니다. 이 백서는 조사된 저작물과 추가 연구를 위한 리소스가 포함된 Github 리포지토리로 보완됩니다: [https://github.com/2471023025/RALM_Survey](https://github.com/2471023025/RALM_Survey).
대규모 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 상당한 발전을 이끌어냈지만, 환각이나 도메인별 지식의 필요성과 같은 문제에 직면해 있습니다. 이러한 문제를 완화하기 위해 최근의 방법론에서는 외부 리소스에서 검색한 정보를 LLM과 통합하여 NLP 작업 전반에서 성능을 크게 향상시켰습니다. 이 설문조사 보고서는 검색 증강 언어 모델(RALM), 즉 검색 증강 생성(RAG)과 검색 증강 이해(RAU)에 대한 포괄적인 개요가 부족하다는 점을 해결하고, 그 패러다임, 진화, 분류 및 응용에 대해 심층적으로 살펴봅니다. 이 백서에서는 검색기, 언어 모델, 증강 등 RALM의 필수 구성 요소와 이들이 상호 작용하여 다양한 모델 구조와 응용 프로그램으로 이어지는 방법에 대해 설명합니다. RALM은 번역 및 대화 시스템부터 지식 집약적인 애플리케이션에 이르기까지 다양한 작업에서 유용성을 입증했습니다. 이 설문조사에는 RALM의 여러 평가 방법이 포함되어 있으며, 평가 시 견고성, 정확성 및 관련성의 중요성을 강조합니다. 또한 검색 품질과 계산 효율성에서 RALM의 한계를 인정하고 향후 연구 방향을 제시합니다. 결론적으로, 이 설문조사는 RALM과 그 잠재력, 그리고 NLP 분야에서의 향후 발전 방향에 대한 체계적인 통찰력을 제공하는 것을 목표로 합니다. 이 백서는 조사된 저작물과 추가 연구를 위한 리소스가 포함된 Github 리포지토리로 보완됩니다: [https://github.com/2471023025/RALM_Survey](https://github.com/2471023025/RALM_Survey).