Despite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach that augments LMs with retrieval of relevant knowledge, decreases such issues. However, indiscriminately retrieving and incorporating a fixed number of retrieved passages, regardless of whether retrieval is necessary, or passages are relevant, diminishes LM versatility or can lead to unhelpful response generation. We introduce a new framework called **Self-Reflective Retrieval-Augmented Generation (Self-RAG)** that enhances an LM's quality and factuality through retrieval and self-reflection. Our framework trains a single arbitrary LM that adaptively retrieves passages on-demand, and generates and reflects on retrieved passages and its own generations using special tokens, called _reflection_ tokens. Generating reflection tokens makes the LM controllable during the inference phase, enabling it to tailor its behavior to diverse task requirements. Experiments show that Self-RAG (7B and 13B parameters) significantly outperforms state-of-the-art LLMs and retrieval-augmented models on a diverse set of tasks.
대규모 언어 모델(LLMs)은 놀라운 기능에도 불구하고 매개변수화된 지식에만 의존하기 때문에 사실에 부정확한 내용이 포함된 응답을 생성하는 경우가 많습니다. 관련 지식 검색을 통해 LLM을 보강하는 임시방편 접근 방식인 Retrieval-Augmented Generation (RAG)은 이러한 문제를 줄여줍니다. 그러나 검색이 필요한지 여부나 지문이 관련성이 있는지에 관계없이 고정된 수의 검색된 지문을 무분별하게 검색하여 통합하면 LM의 다용도성이 떨어지거나 유용하지 않은 응답 생성으로 이어질 수 있습니다. 검색 및 자기 성찰을 통해 LM의 품질과 사실성을 향상시키는 **Self-Reflective Retrieval-Augmented Generation (Self-RAG)**이라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 임의의 단일 LM을 훈련하여 필요에 따라 적응적으로 지문을 검색하고, 검색된 지문과 자체 생성을 _reflection_ 토큰이라는 특수 토큰을 사용하여 생성하고 반영합니다. reflection 토큰을 생성하면 추론 단계에서 LM을 제어할 수 있으므로 다양한 작업 요구 사항에 맞게 동작을 조정할 수 있습니다. 실험 결과, Self-RAG(파라미터 7B 및 13B)는 다양한 작업 세트에서 최신 LLM과 Retrieval-Augmented 모델보다 훨씬 뛰어난 성능을 보여주었습니다.
대규모 언어 모델(LLM)은 놀라운 기능에도 불구하고 매개변수화된 지식에만 의존하기 때문에 사실에 부정확한 내용이 포함된 응답을 생성하는 경우가 많습니다. 관련 지식 검색을 통해 LLM을 보강하는 임시방편 접근 방식인 검색 증강 생성(RAG)은 이러한 문제를 줄여줍니다. 그러나 검색이 필요한지 여부나 지문이 관련성이 있는지에 관계없이 고정된 수의 검색된 지문을 무분별하게 검색하여 통합하면 LM의 다용도성이 떨어지거나 유용하지 않은 응답 생성으로 이어질 수 있습니다. 검색 및 자기 성찰을 통해 LM의 품질과 사실성을 향상시키는 **자기 반영 검색 증강 생성(Self-RAG)**이라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 임의의 단일 LM을 훈련하여 필요에 따라 적응적으로 지문을 검색하고, 검색된 지문과 자체 생성을 _반사_ 토큰이라는 특수 토큰을 사용하여 생성하고 반영합니다. 반사 토큰을 생성하면 추론 단계에서 LM을 제어할 수 있으므로 다양한 작업 요구 사항에 맞게 동작을 조정할 수 있습니다. 실험 결과, Self-RAG(파라미터 7B 및 13B)는 다양한 작업 세트에서 최신 LLM과 검색 증강 모델보다 훨씬 뛰어난 성능을 보여주었습니다.