Lewis et al. (2020) and Guu et al. (2020) were among the first researchers to apply end-to-end training to the field of RALM. However, they differed in their approach. REALM Guu et al. (2020) used masked language training in the pre-training phase and included a retriever that can be trained end-to-end. In the fine-tuning phase, only the QA task was targeted while keeping the retriever frozen. On the other hand, RAG Lewis et al. (2020) used an already trained retriever, DPR, and only employed BART for partial end-to-end training. Similar to REALM, Sachan et al. (2021) present an unsupervised pre-training method that involves an inverse cloze task and masked salient spans. This is followed by supervised fine-tuning using question-context pairs. In addition, they find that the use of end-to-end trained retrievers resulted in a significant improvement in performance across tasks. Singh et al. (2021) apply end-to-end training to multi-document processing, in their proposed approach, the value of the latent variable, which represents the set of relevant documents for a given question, is estimated iteratively. This estimate is then used to update the parameters of the retriever and reader. Siriwardhana et al. (2023) describe the end-to-end optimization of RAG from previous studies and introduces an auxiliary training signal to incorporate more domain-specific knowledge. This signal forces RAG-end2end to reconstruct a given sentence by accessing relevant information in an external knowledge base. This approach has greatly improved domain adaptability.
Lewis 등(2020)과 Guu 등(2020)은 RALM 분야에 end-to-end training을 적용한 최초의 연구자 중 한 명입니다. 하지만 두 연구는 접근 방식이 달랐습니다. REALM Guu 등(2020)은 사전 학습 단계에서 masked language training을 사용했으며 end-to-end 학습이 가능한 retriever를 포함했습니다. Fine-tuning 단계에서는 retriever를 동결한 상태에서 QA 작업만 대상으로 삼았습니다. 반면, RAG Lewis 등(2020)은 이미 학습된 retriever인 DPR을 사용했으며 부분적인 end-to-end 학습을 위해 BART만 사용했습니다. REALM과 마찬가지로 Sachan 등(2021)은 역 cloze 작업과 masked salient spans를 포함하는 비지도 사전 학습 방법을 제시합니다. 그 다음에는 질문-문맥 쌍을 사용하여 supervised Fine-tuning을 수행합니다. 또한, 이들은 end-to-end로 훈련된 retriever의 사용이 작업 전반에서 상당한 성능 향상을 가져온다는 것을 발견했습니다. Singh 등(2021)은 다문서 처리에 end-to-end training을 적용하여, 제안한 접근 방식에서 주어진 질문에 대한 관련 문서 집합을 나타내는 잠재 변수의 값을 반복적으로 추정합니다. 그런 다음 이 추정치를 사용하여 retriever와 reader의 매개변수를 업데이트합니다. Siriwardhana 등(2023)은 이전 연구에서 RAG의 end-to-end optimization을 설명하고 보다 도메인별 지식을 통합하기 위한 보조 훈련 신호를 소개합니다. 이 신호는 RAG-end2end가 외부 지식창고의 관련 정보에 액세스하여 주어진 문장을 재구성하도록 강제합니다. 이 접근 방식은 도메인 적응성을 크게 향상시켰습니다.
Lewis 등(2020)과 Guu 등(2020)은 RALM 분야에 엔드투엔드 트레이닝을 적용한 최초의 연구자 중 한 명입니다. 하지만 두 연구는 접근 방식이 달랐습니다. REALM Guu 등(2020)은 사전 학습 단계에서 마스크 언어 학습을 사용했으며 엔드투엔드 학습이 가능한 검색기를 포함했습니다. 미세 조정 단계에서는 검색기를 동결한 상태에서 QA 작업만 대상으로 삼았습니다. 반면, RAG Lewis 등(2020)은 이미 학습된 검색기인 DPR을 사용했으며 부분적인 엔드투엔드 학습을 위해 BART만 사용했습니다. REALM과 마찬가지로 Sachan 등(2021)은 역 클로즈 작업과 마스크 범위를 포함하는 비지도 사전 학습 방법을 제시합니다. 그 다음에는 질문-문맥 쌍을 사용하여 지도 미세 조정을 수행합니다. 또한, 이들은 엔드투엔드로 훈련된 검색기의 사용이 작업 전반에서 상당한 성능 향상을 가져온다는 것을 발견했습니다. Singh 등(2021)은 다문서 처리에 엔드투엔드 훈련을 적용하여, 제안한 접근 방식에서 주어진 질문에 대한 관련 문서 집합을 나타내는 잠재 변수의 값을 반복적으로 추정합니다. 그런 다음 이 추정치를 사용하여 검색기와 독자의 매개변수를 업데이트합니다. Siriwardhana 등(2023)은 이전 연구에서 RAG의 엔드투엔드 최적화를 설명하고 보다 도메인별 지식을 통합하기 위한 보조 훈련 신호를 소개합니다. 이 신호는 RAG-end2end가 외부 지식창고의 관련 정보에 액세스하여 주어진 문장을 재구성하도록 강제합니다. 이 접근 방식은 도메인 적응성을 크게 향상시켰습니다.