cluding GPT-4 (Achiam et al., 2023), were trained on predominantly human-generated text; similarly, diffusion models like DALL-E (Ramesh et al., 2021), Stable Diffusion (Rombach et al., 2022), Midjourney (Midjourney, 2023) are trained on web-scale image datasets. These training corpora already potentially exhaust all the available clean data on the internet. A growing number of synthetic data generated with these increasingly popular models starts to populate the web, often indistinguishable from "real" data. We have thus already raced into the future where our training corpora are irreversibly mixed with synthetic data and this situation stands to get worse. Recent works call attention to the potential dramatic deterioration in the resulting models, an effect referred to as _"model collapse"_(Shumailov et al., 2023). Facets of this phenomenon have been demonstrated _empirically_ in various settings (Hataya et al., 2023; Martinez et al., 2023; Bohacek and Farid, 2023; Briesch et al., 2023; Guo et al., 2023). Theoretically, a few works are emerging to analyze the effect of iterative training on self-generated (or mixed) data (see Related Work): (Shumailov et al., 2023) coin the term _"model collapse"_ to characterize complete reversion to the mean, Alemohammad et al. (2023) analyze _"self-consuming loops"_ and Bertrand et al. (2023) show that iterative synthetic training leads to a _"clueless generator"_.
GPT-4(Achiam et al., 2023)를 비롯한 대부분의 인공지능은 주로 사람이 생성한 텍스트로 학습되었으며, DALL-E(Ramesh et al., 2021), Stable Diffusion(Rombach et al., 2022), Midjourney(Midjourney, 2023)와 같은 diffusion 모델도 웹 스케일 이미지 데이터 세트로 학습되었습니다. 이러한 학습 코퍼스는 이미 인터넷에서 사용 가능한 모든 깨끗한 데이터를 소진할 수 있는 잠재력을 가지고 있습니다. 점점 더 대중화되고 있는 이러한 모델로 생성된 합성 데이터가 웹을 채우기 시작했으며, 이는 종종 "실제" 데이터와 구분할 수 없습니다. 따라서 우리는 이미 학습 코퍼스가 합성 데이터와 비가역적으로 혼합되는 미래에 진입했으며 이러한 상황은 더욱 악화될 것입니다. 최근 연구에서는 결과 모델의 잠재적인 급격한 악화에 주목하고 있으며, 이를 _"model collapse"_(Shumailov et al., 2023)라고 합니다. 이러한 현상의 측면은 다양한 환경에서 _"경험적으로"_ 입증되었습니다(Hataya et al., 2023; Martinez et al., 2023; Bohacek and Farid, 2023; Briesch et al., 2023; Guo et al., 2023). 이론적으로, 자체 생성(또는 혼합) 데이터에 대한 반복 학습의 효과를 분석하는 몇 가지 작업이 등장하고 있습니다(관련 연구 참조): (Shumailov et al., 2023)은 _"model collapse"_라는 용어를 사용하여 평균으로 완전히 되돌아가는 것을 특징짓고, Alemohammad et al. (2023)은 _"self-consuming loops"_를 분석하고, Bertrand et al. (2023)은 반복적인 합성 학습이 _"clueless generator"_로 이어진다는 것을 보여줍니다.
GPT-4(Achiam et al., 2023)를 비롯한 대부분의 인공지능은 주로 사람이 생성한 텍스트로 학습되었으며, DALL-E(Ramesh et al., 2021), Stable Diffusion(Rombach et al., 2022), Midjourney(Midjourney, 2023)와 같은 확산 모델도 웹 스케일 이미지 데이터 세트로 학습되었습니다. 이러한 학습 코퍼스는 이미 인터넷에서 사용 가능한 모든 깨끗한 데이터를 소진할 수 있는 잠재력을 가지고 있습니다. 점점 더 대중화되고 있는 이러한 모델로 생성된 합성 데이터가 웹을 채우기 시작했으며, 이는 종종 "실제" 데이터와 구분할 수 없습니다. 따라서 우리는 이미 학습 코퍼스가 합성 데이터와 비가역적으로 혼합되는 미래에 진입했으며 이러한 상황은 더욱 악화될 것입니다. 최근 연구에서는 결과 모델의 잠재적인 급격한 악화에 주목하고 있으며, 이를 _"모델 붕괴"_(Shumailov et al., 2023)라고 합니다. 이러한 현상의 측면은 다양한 환경에서 _"경험적으로"_ 입증되었습니다(Hataya et al., 2023; Martinez et al., 2023; Bohacek and Farid, 2023; Briesch et al., 2023; Guo et al., 2023). 이론적으로, 자체 생성(또는 혼합) 데이터에 대한 반복 학습의 효과를 분석하는 몇 가지 작업이 등장하고 있습니다(관련 연구 참조): (Shumailov et al., 2023)은 _"모델 붕괴"_라는 용어를 사용하여 평균으로 완전히 되돌아가는 것을 특징짓고, Alemohammad et al. (2023)은 _"자기 소비 루프"_를 분석하고, Bertrand et al. (2023)은 반복적인 합성 학습이 _"무지한 생성자"로 이어진다는 것을 보여줍니다.