(Alemohammad et al., 2023) conduct an empirical and analytical analysis on generative image models of what they term the "self-consuming" or "autophaguous" loop. They conclude that without enough fresh real data at each generation, future models necessarily will have their precision or recall decrease. They model the influence of each new AI-generation via a generic _sampling bias_\(0\leq\lambda\leq 1\). In the case of image generation this refers to feature parameters at generation that favor quality over diversity (suitably quantified). More precisely, \(\lambda=1\) corresponds to unbiased sampling and \(\lambda=0\) corresponds to sampling from the modes of the generative distribution. \(\lambda\) models biased sampling methods commonly used in generative modeling practice, such as truncation in BigGAN and StyleGAN or guidance in diffusion models. In the case of Gaussian distributions, \(\lambda\) is the shrinking factor of the variance of the next generation. Their empirical work studies GANs and denoising diffusion probabilistic models for image generation on FFHQ and MNIST and single Gaussians for both theoretical and empirical observations. As in (Shumailov et al., 2023) they observe (and prove for the case of a single Gaussian) that estimation error alone leads to vanishing variance with number of iterations. (Alemohammad et al., 2023) also empirically observe an initial boost in performance in a regime where modest amounts of synthetic data are mixed with the original data before larger amounts of synthetic data lead to ultimate degradation. This might mimick larger-scale results that demonstrate how synthetic data mixed with true data improves performance in some scenarios (see _Benefits of synthesized data_ below). Indeed, in its simplest form, data augmentation (rotations, cropping etc. ), a widespread highly beneficial practice in ML training, can be viewed as the simplest form of data generation.
(Alemohammad et al., 2023)은 '자기 소비' 또는 '자가 흡수' 루프라고 하는 생성 이미지 모델에 대한 경험적 및 분석적 분석을 수행합니다. 이들은 각 생성 시 충분한 신선한 실제 데이터가 없으면 향후 모델의 정밀도 또는 리콜이 반드시 감소할 것이라고 결론지었습니다. 이들은 각각의 새로운 AI 생성의 영향을 일반적인 _sampling bias_\(0\leq\lambda\leq 1\)을 통해 모델링합니다. 이미지 생성의 경우, 이는 다양성보다 품질을 우선시하는 생성 시 특징 파라미터(적절하게 정량화됨)를 의미합니다. 보다 정확하게는, \(\lambda=1\)은 편향되지 않은 샘플링에 해당하고, \(\lambda=0\)은 생성 분포의 모드에서 샘플링하는 것에 해당합니다. \(\lambda\)는 BigGAN 및 StyleGAN의 truncation이나 확산 모델의 guidance와 같이 생성 모델링 실습에서 일반적으로 사용되는 편향 샘플링 방법을 모델링합니다. 가우스 분포의 경우, \(\lambda\)는 다음 세대의 분산의 축소 계수입니다. 이들의 실증 연구는 이론적 관찰과 실증적 관찰을 위해 이미지 생성을 위한 GAN과 노이즈 제거 확산 확률 모델과 단일 가우스를 FFHQ와 MNIST에 대해 연구했습니다. (Shumailov et al., 2023)에서와 같이 추정 오차만으로도 반복 횟수에 따라 분산이 사라지는 것을 관찰합니다(단일 가우스의 경우 이를 증명함). (Alemohammad et al., 2023)은 또한 상당한 양의 합성 데이터가 궁극적인 저하를 초래하기 전에 적은 양의 합성 데이터가 원본 데이터와 혼합되는 체제에서 성능이 초기 부스트되는 것을 경험적으로 관찰했습니다. 이는 실제 데이터와 혼합된 합성 데이터가 일부 시나리오에서 성능을 향상시키는 방법을 보여주는 대규모 결과를 모방할 수 있습니다(아래 '합성 데이터의 이점' 참조). 실제로 가장 단순한 형태의 데이터 증강(회전, 자르기 등)은 ML 훈련에서 널리 사용되는 매우 유익한 방법으로, 가장 단순한 형태의 데이터 생성으로 볼 수 있습니다.
(Alemohammad et al., 2023)은 '자기 소비' 또는 '자가 흡수' 루프라고 하는 생성 이미지 모델에 대한 경험적 및 분석적 분석을 수행합니다. 이들은 각 생성 시 충분한 신선한 실제 데이터가 없으면 향후 모델의 정밀도 또는 리콜이 반드시 감소할 것이라고 결론지었습니다. 이들은 각각의 새로운 AI 생성의 영향을 일반적인 _샘플링 편향_\(0\leq\lambda\leq 1\)을 통해 모델링합니다. 이미지 생성의 경우, 이는 다양성보다 품질을 우선시하는 생성 시 특징 파라미터(적절하게 정량화됨)를 의미합니다. 보다 정확하게는, \(\lambda=1\)은 편향되지 않은 샘플링에 해당하고, \(\lambda=0\)은 생성 분포의 모드에서 샘플링하는 것에 해당합니다. 람다(\lambda)는 BigGAN 및 StyleGAN의 트런케이션이나 확산 모델의 가이드와 같이 생성 모델링 실습에서 일반적으로 사용되는 편향 샘플링 방법을 모델링합니다. 가우스 분포의 경우, \(\lambda\)는 다음 세대의 분산의 축소 계수입니다. 이들의 실증 연구는 이론적 관찰과 실증적 관찰을 위해 이미지 생성을 위한 GAN과 노이즈 제거 확산 확률 모델과 단일 가우스를 FFHQ와 MNIST에 대해 연구했습니다. (Shumailov et al., 2023)에서와 같이 추정 오차만으로도 반복 횟수에 따라 분산이 사라지는 것을 관찰합니다(단일 가우스의 경우 이를 증명함). (알레모하마드 등, 2023)은 또한 상당한 양의 합성 데이터가 궁극적인 저하를 초래하기 전에 적은 양의 합성 데이터가 원본 데이터와 혼합되는 체제에서 성능이 초기 부스트되는 것을 경험적으로 관찰했습니다. 이는 실제 데이터와 혼합된 합성 데이터가 일부 시나리오에서 성능을 향상시키는 방법을 보여주는 대규모 결과를 모방할 수 있습니다(아래 '합성 데이터의 이점' 참조). 실제로 가장 단순한 형태의 데이터 증강(회전, 자르기 등)은 ML 훈련에서 널리 사용되는 매우 유익한 방법으로, 가장 단순한 형태의 데이터 생성으로 볼 수 있습니다.