After MuRAG, studies such as REVEALHu et al. (2023) and Re-ImagenChen et al. (2023) have focused on enhancing visual question answering and text-to-image generation. They achieved this through the incorporation of dynamic retrieval mechanisms and the improvement of image fidelity, respectively. These advancements laid the groundwork for further models by researchers like Sarto et al.Sarto et al. (2022) for image captioning, and Yuan et al.Yuan et al. (2023) for text-to-audio generation, broadening the scope of RAG's application across different modalities and improving the quality and realism of the generated outputs. Furthermore, Re-ViLMYang et al. (2023) refined image captioning capabilities through a retrieval-augmented visual language model. By fine-tuning model parameters and implementing innovative filtering strategies, it has made strides in producing more precise and contextually appropriate captions. By tapping into external resources, these models have provided significant enhancements over traditional benchmarks, highlighting the advantage of integrating diverse sources of knowledge.
MuRAG 이후, REVEALHu 등과 같은 연구(2023) 및 Re-ImagenChen et al.(2023)은 시각적 질문 답변 및 텍스트-이미지 생성을 강화하는 데 중점을 두었습니다. 이들은 각각 동적 retrieval 메커니즘을 통합하고 이미지 충실도를 개선함으로써 이를 달성했습니다. 이러한 발전은 이미지 캡셔닝을 위한 Sarto et al.Sarto et al.과 같은 연구자들에 의해 더욱 발전할 수 있는 토대를 마련했습니다.(2022) 및 텍스트-오디오 생성을 위한 Yuan et al.Yuan et al. (2023)을 비롯한 다양한 모델의 범위를 넓히고 생성된 결과물의 품질과 사실성을 개선했습니다. 또한, Re-ViLMYang et al. (2023)은 retrieval-augmented 시각 언어 모델을 통해 이미지 캡셔닝 기능을 개선했습니다. 모델 파라미터를 Fine-tuning하고 혁신적인 필터링 전략을 구현함으로써 보다 정확하고 문맥에 적합한 캡션을 생성하는 데 큰 진전을 이루었습니다. 이러한 모델들은 외부 리소스를 활용함으로써 기존 벤치마크에 비해 상당한 향상을 가져왔으며, 다양한 지식 소스를 통합할 때의 이점을 강조했습니다.
MuRAG 이후, REVEALHu 등과 같은 연구(2023) 및 Re-ImagenChen et al.(2023)은 시각적 질문 답변 및 텍스트-이미지 생성을 강화하는 데 중점을 두었습니다. 이들은 각각 동적 검색 메커니즘을 통합하고 이미지 충실도를 개선함으로써 이를 달성했습니다. 이러한 발전은 이미지 캡셔닝을 위한 Sarto et al.Sarto et al.과 같은 연구자들에 의해 더욱 발전할 수 있는 토대를 마련했습니다.(2022) 및 텍스트-오디오 생성을 위한 Yuan et al.Yuan et al. (2023)을 비롯한 다양한 모델의 범위를 넓히고 생성된 결과물의 품질과 사실성을 개선했습니다. 또한, Re-ViLMYang et al. (2023)은 검색 증강 시각 언어 모델을 통해 이미지 캡셔닝 기능을 개선했습니다. 모델 파라미터를 미세 조정하고 혁신적인 필터링 전략을 구현함으로써 보다 정확하고 문맥에 적합한 캡션을 생성하는 데 큰 진전을 이루었습니다. 이러한 모델들은 외부 리소스를 활용함으로써 기존 벤치마크에 비해 상당한 향상을 가져왔으며, 다양한 지식 소스를 통합할 때의 이점을 강조했습니다.