The vision and multimodal literatures have also seen a surge of works examining the use of synthetic data for training. The works of Bansal and Grover (2023); Trabucco et al. (2023); Azizi et al. (2023) have shown that using synthetic data in combination with real data achieves state of art model performance both in-distribution and out-of-distribution. Cubuk et al. (2020) used generative models to generate image augmentations for better domain generalization. There are also multiple studies on increasing multiplicity of augmentations and their value for improving generalization (Choi et al., 2019; Fort et al., 2021; Hoffer et al., 2020). However, Alemohammad et al. (2023) showed that generated models trained for more than five cycles of their own generated data can undergo severe mode collapse.
비전 및 멀티모달 문헌에는 훈련을 위한 합성 데이터의 사용을 조사하는 연구도 급증하고 있습니다. Bansal과 Grover(2023); Trabucco et al.(2023); Azizi et al.(2023)의 연구는 실제 데이터와 함께 합성 데이터를 사용하면 in-distribution 및 out-of-distribution 모두에서 최첨단 모델 성능을 달성할 수 있음을 보여주었습니다. Cubuk et al. (2020)은 generative models을 사용하여 더 나은 도메인 일반화를 위해 이미지 증강을 생성했습니다. 일반화를 개선하기 위한 증강의 다중성과 그 가치를 높이는 여러 연구(Choi et al., 2019; Fort et al., 2021; Hoffer et al., 2020)도 있습니다. 그러나 Alemohammad et al.(2023)은 자체 생성된 데이터의 5주기 이상 훈련된 generative models이 심각한 mode collapse를 겪을 수 있음을 보여주었습니다.
비전 및 멀티모달 문헌에는 훈련을 위한 합성 데이터의 사용을 조사하는 연구도 급증하고 있습니다. Bansal과 Grover(2023); Trabucco et al.(2023); Azizi et al.(2023)의 연구는 실제 데이터와 함께 합성 데이터를 사용하면 인스트리뷰션 및 아웃 오브 디스트리뷰션 모두에서 최첨단 모델 성능을 달성할 수 있음을 보여주었습니다. Cubuk et al. (2020)은 생성 모델을 사용하여 더 나은 도메인 일반화를 위해 이미지 증강을 생성했습니다. 일반화를 개선하기 위한 증강의 다중성과 그 가치를 높이는 여러 연구(Choi et al., 2019; Fort et al., 2021; Hoffer et al., 2020)도 있습니다. 그러나 Alemohammad et al.(2023)은 자체 생성된 데이터의 5주기 이상 훈련된 생성 모델이 심각한 모드 붕괴를 겪을 수 있음을 보여주었습니다.