**Retrieval-Augmented Language Models** RAG enhances language models by integrating a retrieval module that sources relevant information from external knowledge bases, significantly improving performance across various NLP tasks, including language modeling (Guu et al., 2020; Borgeaud et al., 2022; Khandelwal et al., 2019; Shi et al., 2023; Lin et al., 2023; Shi et al., 2023; Asai et al., 2023; Xu et al., 2023; Wang et al., 2023) and open-domain question answering (Izacard et al., 2023; Lewis et al., 2020). This integration follows a "retrieve-and-read" paradigm where the retrieval module provides additional context from external sources, which the LM then uses to generate the final output. The retrieval process involves using the input as a query to fetch documents, which the LM incorporates for final predictions. For instance, Atlas (Izacard et al., 2023) fine-tunes T5 models with the retriever, treating documents as latent variables, while RETRO (Borgeaud et al., 2022) modifies the decoder-only architecture to include retrieved texts and conducts pre-training from scratch. kNN-LM (Khandelwal et al., 2019) interpolates between the LM's next token distribution and distributions computed from retrieved tokens at inference. (Shi et al., 2023; Ram et al., 2023) assume black-box access to an LM and combine it with either off-the-shelf or fine-tuned retriever.
**Retrieval-Augmented Language Models** RAG는 외부 지식 베이스에서 관련 정보를 소싱하는 retrieval 모듈을 통합하여 언어 모델을 향상시켜 언어 모델링(Guu et al., 2020; Borgeaud et al., 2022; Khandelwal et al., 2019; Shi et al., 2023; Lin et al., 2023; Shi et al., 2023; Asai et al., 2023; Xu et al., 2023; Wang et al., 2023) 및 오픈 도메인 질문 답변(Izacard et al., 2023; Lewis et al., 2020)을 포함한 다양한 자연어 처리 작업에서 성능을 크게 향상시킵니다. 이러한 통합은 retrieval 모듈이 외부 소스에서 추가 컨텍스트를 제공하고, LM이 이를 사용하여 최종 출력을 생성하는 'retrieve-and-read' 패러다임을 따릅니다. retrieval 프로세스에는 입력을 쿼리로 사용하여 문서를 가져오는 것으로, LM이 최종 예측을 위해 통합합니다. 예를 들어, Atlas(Izacard et al., 2023)는 retriever를 사용하여 T5 모델을 Fine-tuning하고 문서를 잠재 변수로 취급하는 반면, RETRO(Borgeaud et al., 2022)는 retrieval된 텍스트를 포함하도록 decoder 전용 아키텍처를 수정하고 처음부터 사전 학습을 수행합니다. kNN-LM(Khandelwal et al., 2019)은 추론 시 LM의 다음 토큰 분포와 retrieval된 토큰에서 계산된 분포 사이를 보간합니다. (Shi et al., 2023; Ram et al., 2023)은 LM에 대한 블랙박스 액세스를 가정하고 이를 기성 또는 Fine-tuning된 retriever와 결합합니다.
**검색 증강 언어 모델** RAG는 외부 지식 베이스에서 관련 정보를 소싱하는 검색 모듈을 통합하여 언어 모델을 향상시켜 언어 모델링(Guu et al., 2020; Borgeaud et al., 2022; Khandelwal et al., 2019; Shi et al., 2023; Lin et al., 2023; Shi et al., 2023; Asai et al., 2023; Xu et al., 2023; Wang et al., 2023) 및 오픈 도메인 질문 답변(Izacard et al., 2023; Lewis et al., 2020)을 포함한 다양한 자연어 처리 작업에서 성능을 크게 향상시킵니다. 이러한 통합은 검색 모듈이 외부 소스에서 추가 컨텍스트를 제공하고, LM이 이를 사용하여 최종 출력을 생성하는 '검색 및 읽기' 패러다임을 따릅니다. 검색 프로세스에는 입력을 쿼리로 사용하여 문서를 가져오는 것으로, LM이 최종 예측을 위해 통합합니다. 예를 들어, Atlas(Izacard et al., 2023)는 검색기를 사용하여 T5 모델을 미세 조정하고 문서를 잠재 변수로 취급하는 반면, RETRO(Borgeaud et al., 2022)는 검색된 텍스트를 포함하도록 디코더 전용 아키텍처를 수정하고 처음부터 사전 학습을 수행합니다. kNN-LM(Khandelwal et al., 2019)은 추론 시 LM의 다음 토큰 분포와 검색된 토큰에서 계산된 분포 사이를 보간합니다. (Shi et al., 2023; Ram et al., 2023)은 LM에 대한 블랙박스 액세스를 가정하고 이를 기성 또는 미세 조정된 리트리버와 결합합니다.