Retrieval-augmented generation (RAG) is a widely used approach to incorporate new knowledge into LLMs by augmenting fixed LLMs with retrieved information from external sources (Chen et al., 2017; Guu et al., 2020; Lewis et al., 2020; Borgeaud et al., 2022; Wang et al., 2023; Alon et al., 2022; He et al., 2021; Sachan et al., 2021; Izacard et al., 2023; Lee et al., 2022; Jiang et al., 2022; Shi et al., 2023; Jiang et al., 2023; Asai et al., 2023; Nakano et al., 2021; Qin et al., 2023; Lin et al., 2023). While RAG is effective in reducing hallucinations commonly experienced when relying solely on knowledge stored in parameters, its retrieval and generation process adds extra latency and complexity. In contrast, continued pre-training to store knowledge in parameters and utilizing the stored knowledge to answer questions in a closed-book manner are simpler and faster at inference time. Enhancing this capability is also scientifically significant, as it represents a fundamental step in employing LLMs as dependable assistants for accessing information. Therefore, this paper focuses on exploring parametric approaches.
리트리버 증강 생성(Retrieval-augmented generation, RAG)은 외부 소스에서 검색된 정보로 고정된 LLM을 보강하여 새로운 지식을 LLM에 통합하는 데 널리 사용되는 접근 방식입니다(Chen et al., 2017; Guu et al., 2020; Lewis et al., 2020; Borgeaud et al., 2022; Wang et al., 2023; Alon et al., 2022; He et al., 2021; Sachan et al., 2021; Izacard et al., 2023; Lee et al., 2022; Jiang et al., 2022; Shi et al., 2023; Jiang et al., 2023; Asai et al., 2023; Nakano et al., 2021; Qin et al., 2023; Lin et al., 2023). RAG는 파라미터에 저장된 지식에만 의존할 때 흔히 발생하는 hallucination을 줄이는 데 효과적이지만, retrieval 및 generation 프로세스는 지연 시간과 복잡성을 더합니다. 반면, 파라미터에 지식을 저장하기 위해 사전 학습을 계속하고 저장된 지식을 활용하여 폐쇄형 방식으로 질문에 답하는 것은 추론 시간이 더 간단하고 빠릅니다. 이 기능을 향상시키는 것은 정보에 액세스하기 위한 신뢰할 수 있는 도우미로서 LLM을 사용하는 데 있어 기본적인 단계이므로 과학적으로도 중요합니다. 따라서 이 백서에서는 파라메트릭 접근 방식을 탐색하는 데 중점을 둡니다.
리트리버 증강 생성(RAG)은 외부 소스에서 검색된 정보로 고정된 LLM을 보강하여 새로운 지식을 LLM에 통합하는 데 널리 사용되는 접근 방식입니다(Chen et al., 2017; Guu et al., 2020; Lewis et al., 2020; Borgeaud et al., 2022; Wang et al., 2023; Alon et al., 2022; He et al., 2021; Sachan et al., 2021; Izacard et al., 2023; Lee et al., 2022; Jiang et al., 2022; Shi et al., 2023; Jiang et al., 2023; Asai et al., 2023; Nakano et al., 2021; Qin et al., 2023; Lin et al., 2023). RAG는 파라미터에 저장된 지식에만 의존할 때 흔히 발생하는 환각을 줄이는 데 효과적이지만, 검색 및 생성 프로세스는 지연 시간과 복잡성을 더합니다. 반면, 파라미터에 지식을 저장하기 위해 사전 학습을 계속하고 저장된 지식을 활용하여 폐쇄형 방식으로 질문에 답하는 것은 추론 시간이 더 간단하고 빠릅니다. 이 기능을 향상시키는 것은 정보에 액세스하기 위한 신뢰할 수 있는 도우미로서 LLM을 사용하는 데 있어 기본적인 단계이므로 과학적으로도 중요합니다. 따라서 이 백서에서는 파라메트릭 접근 방식을 탐색하는 데 중점을 둡니다.