Several empirical studies confirm the deleterious effect of training on self-generated data: In the context of image generation, (Martinez et al., 2023a;b) report degradation of models trained on AI-generated data. Specifically, they use a Denoising Diffusion Implicit Model and a few (relatively small) datasets (e.g. Orchids, MNIST) to demonstrate visual degradation when training in successive generations of AI-generated data. (Hataya et al., 2023) _"conclude that generated images negatively affect downstream performance, while the significance depends on tasks and the amount of generated images"_, (Bohacek & Farid, 2023) reports that the popular StableDiffusion model collapses when iteratively retrained on self-generated faces, even with as little as \(3\%\) synthetic data mixed into the original training set. For text, (Briesch et al., 2023) use _nanoGPT6_ on a curated 10K logical-expression dataset to demonstrate the iterative collapse of self-consuming loops - the model and dataset are sufficiently small to allow training from scratch. (Guo et al., 2023) observe a decline in linguistic diversity metrics across iteratively fine-tuned LLMs.
여러 실증 연구에서 자체 생성 데이터에 대한 훈련이 해로운 영향을 미친다는 사실이 확인되었습니다: 이미지 생성의 맥락에서 (Martinez et al., 2023a;b)는 AI로 생성된 데이터로 훈련된 모델의 성능 저하를 보고했습니다. 특히, 이들은 Denoising Diffusion Implicit Model과 몇 가지 (비교적 작은) 데이터 세트(예: Orchids, MNIST)를 사용하여 AI로 생성된 데이터의 연속적인 세대에서 훈련할 때 시각적 저하를 입증합니다. (Hataya et al., 2023) _"생성된 이미지가 다운스트림 성능에 부정적인 영향을 미치는 반면, 그 중요성은 작업과 생성된 이미지의 양에 따라 달라진다"_, (Bohacek & Farid, 2023)는 StableDiffusion 모델이 원래 훈련 세트에 합성 데이터가 3%만 섞여 있어도 반복적으로 자체 생성된 얼굴에 대해 재훈련할 때 붕괴된다고 보고합니다. 텍스트의 경우, (Briesch et al., 2023)은 10,000개의 논리적 표현 데이터 세트를 엄선하여 _nanoGPT6_을 사용하여 자체 소비 루프의 반복적 붕괴를 입증합니다. 이 모델과 데이터 세트는 충분히 작아서 처음부터 훈련할 수 있습니다. (Guo et al., 2023)은 반복적으로 Fine-tuning된 LLM 전반에서 언어적 다양성 메트릭의 하락을 관찰했습니다.
여러 실증 연구에서 자체 생성 데이터에 대한 훈련이 해로운 영향을 미친다는 사실이 확인되었습니다: 이미지 생성의 맥락에서 (Martinez et al., 2023a;b)는 AI로 생성된 데이터로 훈련된 모델의 성능 저하를 보고했습니다. 특히, 이들은 노이즈 제거 확산 암시 모델과 몇 가지 (비교적 작은) 데이터 세트(예: Orchids, MNIST)를 사용하여 AI로 생성된 데이터의 연속적인 세대에서 훈련할 때 시각적 저하를 입증합니다. (하타야 et al., 2023) _"생성된 이미지가 다운스트림 성능에 부정적인 영향을 미치는 반면, 그 중요성은 작업과 생성된 이미지의 양에 따라 달라진다"_, (보하첵 & 파리드, 2023)는 안정적인 안정화 모델이 원래 훈련 세트에 합성 데이터가 3%만 섞여 있어도 반복적으로 자체 생성된 얼굴에 대해 재훈련할 때 붕괴된다고 보고합니다. 텍스트의 경우, (Briesch et al., 2023)은 10,000개의 논리적 표현 데이터 세트를 엄선하여 _나노GPT6_을 사용하여 자체 소비 루프의 반복적 붕괴를 입증합니다. 이 모델과 데이터 세트는 충분히 작아서 처음부터 훈련할 수 있습니다. (Guo et al., 2023)은 반복적으로 미세 조정된 LLM 전반에서 언어적 다양성 메트릭의 하락을 관찰했습니다.