Less than a handful of works begin to provide theoretical explanations for the behavior of models in the "synthetic data age". (Shumailov et al., 2023) attribute model collapse to two mechanisms: a finite sampling bias cutting off low-probability "tails", thus leading to more and more peaked distributions and function approximation errors; they theoretically analyze the (single) Gaussian case and provide empirical evidence for VAEs, Gaussian mixtures and the OPT language model (125M parameters). In the context of vision models, Alemohammad et al. (2023) analyze "_self-consuming loops"_ by introducing a sampling bias that narrows the variance of the data at each generation, and, in addition to empirical demonstration on GANs and denoising diffusion probabilistic models, provide theoretical analysis for the Gaussian model. Finally, let us mention the study of Bertrand et al. (2023) which sheds light on the critical role of data composition in the stability and effectiveness in generative models, applicable to VAEs (Kingma & Welling, 2014), diffusion models and normalizing flows. They explore scenarios involving a mix of clean data, representative of the true distribution, and synthesized data from previous iterations of the generator. Their analysis reveals that if the data mix consists exclusively of synthesized data, the generative process is likely to degenerate over time (_"clueless generator"_). Using fixed-point analysis across iterations, they find that when the proportion of clean data in the mix is sufficiently high, the generator, under certain technical conditions, retains the capability to learn. A recent paper (Fan et al., 2023) empirically observe deteriorated scaling lawswhen training on synthetic data for text-to-image models.
"합성 데이터 시대"에 모델의 동작에 대한 이론적 설명을 제공하는 작업은 소수에 불과합니다. (Shumailov et al., 2023)은 모델 붕괴를 두 가지 메커니즘, 즉 낮은 확률의 "꼬리"를 차단하여 점점 더 뾰족한 분포와 함수 근사 오류로 이어지는 유한 샘플링 편향과 관련된 것으로 설명합니다. (단일) Gaussian의 경우를 이론적으로 분석하고 VAE, Gaussian 혼합 및 OPT language model(1억 2,500만 개의 매개변수)에 대한 경험적 증거를 제공합니다. 시각 모델의 맥락에서 Alemohammad et al. (2023)은 생성할 때마다 데이터의 분산을 좁히는 샘플링 편향을 도입하여 "_자기 소비 루프"_를 분석하고, GAN 및 노이즈 제거 확산 확률 모델에 대한 경험적 시연 외에도 Gaussian 모델에 대한 이론적 분석을 제공합니다. 마지막으로, VAEs(Kingma & Welling, 2014), diffusion models 및 normalizing flows에 적용 가능한 생성 모델의 안정성과 효율성에서 데이터 구성의 중요한 역할을 조명하는 Bertrand et al. (2023)의 연구에 대해 언급하겠습니다. 이들은 실제 분포를 대표하는 깨끗한 데이터와 생성기의 이전 반복에서 합성된 데이터가 혼합된 시나리오를 탐색합니다. 이들의 분석에 따르면 데이터 믹스가 전적으로 합성 데이터로만 구성된 경우 시간이 지남에 따라 생성 프로세스가 변질될 가능성이 높습니다("_"이 지식이 없는 생성기"_). 반복에 걸쳐 고정점 분석을 사용하여 믹스에서 깨끗한 데이터의 비율이 충분히 높으면 특정 기술적 조건에서 생성기가 학습 기능을 유지한다는 것을 발견했습니다. 최근 논문(Fan et al., 2023)에서는 텍스트-이미지 모델에 대해 합성 데이터로 훈련할 때 scaling laws가 악화되는 것을 경험적으로 관찰했습니다.
"합성 데이터 시대"에 모델의 동작에 대한 이론적 설명을 제공하는 작업은 소수에 불과합니다. (Shumailov et al., 2023)은 모델 붕괴를 두 가지 메커니즘, 즉 낮은 확률의 "꼬리"를 차단하여 점점 더 뾰족한 분포와 함수 근사 오류로 이어지는 유한 샘플링 편향과 관련된 것으로 설명합니다. (단일) 가우스의 경우를 이론적으로 분석하고 VAE, 가우스 혼합 및 OPT 언어 모델(1억 2,500만 개의 매개변수)에 대한 경험적 증거를 제공합니다. 시각 모델의 맥락에서 Alemohammad et al. (2023)은 생성할 때마다 데이터의 분산을 좁히는 샘플링 편향을 도입하여 "_자기 소비 루프"_를 분석하고, GAN 및 노이즈 제거 확산 확률 모델에 대한 경험적 시연 외에도 가우스 모델에 대한 이론적 분석을 제공합니다. 마지막으로, VAEs(Kingma & Welling, 2014), 확산 모델 및 정규화 흐름에 적용 가능한 생성 모델의 안정성과 효율성에서 데이터 구성의 중요한 역할을 조명하는 Bertrand et al. (2023)의 연구에 대해 언급하겠습니다. 이들은 실제 분포를 대표하는 깨끗한 데이터와 생성기의 이전 반복에서 합성된 데이터가 혼합된 시나리오를 탐색합니다. 이들의 분석에 따르면 데이터 믹스가 전적으로 합성 데이터로만 구성된 경우 시간이 지남에 따라 생성 프로세스가 변질될 가능성이 높습니다("_"이 지식이 없는 생성기"_). 반복에 걸쳐 고정점 분석을 사용하여 믹스에서 깨끗한 데이터의 비율이 충분히 높으면 특정 기술적 조건에서 생성기가 학습 기능을 유지한다는 것을 발견했습니다. 최근 논문(Fan et al., 2023)에서는 텍스트-이미지 모델에 대해 합성 데이터로 훈련할 때 스케일링 법칙이 악화되는 것을 경험적으로 관찰했습니다.