In a pioneering study, Li et al. (2022) proposed the use of retrieval techniques to enhance the quality of text-to-image generation. They conducted a comparative analysis of the quality and quantity of the generated images with mainstream models on the CUB and COCO datasets. Their findings demonstrated that all models outperformed their contemporaries. In contrast, RE-IMAGEN Chen et al. (2022) focused on assisting the model in generating images of uncommon objects through retrieval. This approach ultimately led to the achievement of exceptionally high FID scores on the COCO and WikilImage datasets. Even more groundbreaking results were obtained on the authors' own proposed EntityDrawBench benchmark, which encompasses a range of common and rare objects across multiple categories. RDM Blattmann et al. (2022), although trained in a similar manner to RE-IMAGEN, employs image features as the foundation for retrieval and is supplanted by user examples during the inference process. Consequently, RDM is capable of efficiently transferring the described artistic style to the generated images. Furthermore, in contrast to RE-IMAGEN, which employs image-text pairs for retrieval, KNN-Diffusion Sheynin et al. (2022) solely utilizes images for retrieval, resulting in a lower quality of results on the COCO dataset.
선구적인 연구에서 Li 등(2022)은 텍스트에서 이미지로 생성하는 품질을 향상시키기 위해 retrieval 기술을 사용할 것을 제안했습니다. 이들은 CUB 및 COCO 데이터 세트에서 주류 모델과 함께 생성된 이미지의 품질과 양을 비교 분석했습니다. 그 결과 모든 모델이 동급 모델보다 우수한 성능을 보였다는 사실을 입증했습니다. 이와는 대조적으로, RE-IMAGEN Chen 등(2022)은 retrieval을 통해 모델이 흔하지 않은 물체의 이미지를 생성하는 데 중점을 두었습니다. 이러한 접근 방식은 궁극적으로 COCO 및 WikilImage 데이터 세트에서 매우 높은 FID 점수를 달성하는 데 기여했습니다. 여러 카테고리에 걸쳐 다양한 일반 및 희귀 물체를 포함하는 저자들이 제안한 EntityDrawBench 벤치마크에서 더욱 획기적인 결과를 얻었습니다. RDM Blattmann 등(2022)은 RE-IMAGEN과 비슷한 방식으로 훈련되었지만 이미지 기능을 retrieval의 기반으로 사용하며 추론 과정에서 사용자 예제로 대체됩니다. 결과적으로 RDM은 설명된 예술적 스타일을 생성된 이미지에 효율적으로 전송할 수 있습니다. 또한 이미지-텍스트 쌍을 retrieval에 사용하는 RE-IMAGEN과 달리 KNN-Diffusion Sheynin 등(2022)은 retrieval에 이미지만을 사용하므로 COCO 데이터 세트에서 결과 품질이 낮아집니다.
선구적인 연구에서 Li 등(2022)은 텍스트에서 이미지로 생성하는 품질을 향상시키기 위해 검색 기술을 사용할 것을 제안했습니다. 이들은 CUB 및 COCO 데이터 세트에서 주류 모델과 함께 생성된 이미지의 품질과 양을 비교 분석했습니다. 그 결과 모든 모델이 동급 모델보다 우수한 성능을 보였다는 사실을 입증했습니다. 이와는 대조적으로, RE-IMAGEN Chen 등(2022)은 검색을 통해 모델이 흔하지 않은 물체의 이미지를 생성하는 데 중점을 두었습니다. 이러한 접근 방식은 궁극적으로 COCO 및 WikilImage 데이터 세트에서 매우 높은 FID 점수를 달성하는 데 기여했습니다. 여러 카테고리에 걸쳐 다양한 일반 및 희귀 물체를 포함하는 저자들이 제안한 EntityDrawBench 벤치마크에서 더욱 획기적인 결과를 얻었습니다. RDM Blattmann 등(2022)은 RE-IMAGEN과 비슷한 방식으로 훈련되었지만 이미지 기능을 검색의 기반으로 사용하며 추론 과정에서 사용자 예제로 대체됩니다. 결과적으로 RDM은 설명된 예술적 스타일을 생성된 이미지에 효율적으로 전송할 수 있습니다. 또한 이미지-텍스트 쌍을 검색에 사용하는 RE-IMAGEN과 달리 KNN-Diffusion Sheynin 등(2022)은 검색에 이미지만을 사용하므로 COCO 데이터 세트에서 결과 품질이 낮아집니다.