The RALM architecture initially used a single document for retrieval augmentation. However, it was discovered that RALM's performance significantly improved when the number of retrieved paragraphs was increased. (Izacard and Grave, 2020) Therefore, they proposed a new method called Fusion-in-Decoder (FiD) which involves keeping the retriever unchanged, using the encoder in LM to encode the related documents one by one, and then connecting the related documents and giving them to the decoder for output. Then Hofstatter et al. (2023) improved on the FiD. They constrained the information flow from encoder to decoder. FiD-Light with reranking was also tuned via text source pointers to improve the topmost source accuracy. Izacard and Grave (2020) applied knowledge distillation to the FiD model, also known as FiD-KD, using cross-attention scores from a sequence-to-sequence reader to obtain synthetic targets for the retriever. Singh et al. (2021) proposed an enhancement approach that differs from knowledge distillation in that it uses an end-to-end training approach requiring fewer documents, training cycles, and no supervised initialization compared to FiD-KD.
RALM 아키텍처는 처음에 retrieval augmentation에 단일 문서를 사용했습니다. 그러나 검색된 단락의 수를 늘리면 RALM의 성능이 크게 향상되는 것을 발견했습니다. (Izacard and Grave, 2020) 따라서 검색기는 그대로 유지하고, LM의 encoder를 사용하여 관련 문서를 하나씩 인코딩한 다음, 관련 문서를 연결하여 decoder에 출력하도록 하는 Fusion-in-Decoder(FiD)라는 새로운 방법을 제안했습니다. 그런 다음 Hofstatter 등(2023)은 FiD를 개선했습니다. encoder에서 decoder로의 정보 흐름을 제한했습니다. 또한 텍스트 소스 포인터를 통해 재순위화 기능이 있는 FiD-Light를 조정하여 최상위 소스 정확도를 개선했습니다. Izacard와 Grave(2020)는 시퀀스 대 시퀀스 리더의 cross-attention 점수를 사용하여 FiD 모델에 knowledge distillation을 적용하여 검색기에 대한 합성 대상을 얻는 FiD-KD라고도 합니다. Singh 등(2021)은 FiD-KD에 비해 더 적은 수의 문서, 훈련 주기, 지도 초기화가 필요한 end-to-end 훈련 접근 방식을 사용한다는 점에서 knowledge distillation과 다른 개선 접근 방식을 제안했습니다.
RALM 아키텍처는 처음에 검색 증강에 단일 문서를 사용했습니다. 그러나 검색된 단락의 수를 늘리면 RALM의 성능이 크게 향상되는 것을 발견했습니다. (Izacard and Grave, 2020) 따라서 검색기는 그대로 유지하고, LM의 인코더를 사용하여 관련 문서를 하나씩 인코딩한 다음, 관련 문서를 연결하여 디코더에 출력하도록 하는 Fusion-in-Decoder(FiD)라는 새로운 방법을 제안했습니다. 그런 다음 Hofstatter 등(2023)은 FiD를 개선했습니다. 인코더에서 디코더로의 정보 흐름을 제한했습니다. 또한 텍스트 소스 포인터를 통해 재순위화 기능이 있는 FiD-Light를 조정하여 최상위 소스 정확도를 개선했습니다. Izacard와 Grave(2020)는 시퀀스 대 시퀀스 리더의 교차 주의도 점수를 사용하여 FiD 모델에 지식 증류를 적용하여 검색기에 대한 합성 대상을 얻는 FiD-KD라고도 합니다. Singh 등(2021)은 FiD-KD에 비해 더 적은 수의 문서, 훈련 주기, 지도 초기화가 필요한 엔드투엔드 훈련 접근 방식을 사용한다는 점에서 지식 증류와 다른 개선 접근 방식을 제안했습니다.