(Shumailov et al., 2023) define model collapse and attribute it to two mechanisms: finite sampling when training a model (leading to cut off of low-probability data) and function approximation errors (the model is not sufficiently expressive to model the true distribution). They observe (and, for a single Gaussian, prove) that upon iteratively resampling finite "training data" the generated distribution becomes more and more peaked. Other models studied empirically are mixtures of (two) Gaussians and VAEs on MNIST. To study language models, (Shumailov et al., 2023) iteratively fine tune Meta's OPT-125M model on wikidata2. For generation of new text they use a 5-way beam search, which, by its nature, (approximatively) generates only low-perplexity data.
(Shumailov et al., 2023)은 모델 붕괴를 정의하고 두 가지 메커니즘, 즉 모델을 훈련할 때의 유한 샘플링(낮은 확률 데이터의 차단으로 이어짐)과 function approximation 오류(모델이 실제 분포를 모델링하기에 충분히 표현력이 부족함)에 기인한다고 설명합니다. 이들은 (단일 가우스의 경우 증명한) 유한한 'training data'를 반복적으로 리샘플링하면 생성된 분포가 점점 더 뾰족해지는 현상을 관찰합니다. 경험적으로 연구된 다른 모델로는 (두 개의) 가우스 혼합물과 MNIST의 VAE가 있습니다. 언어 모델을 연구하기 위해 (Shumailov et al., 2023)은 위키데이터2에서 메타의 OPT-125M 모델을 반복적으로 Fine-tuning합니다. 새로운 텍스트 생성을 위해 본질적으로 (대략적으로) 낮은 Perplexity 데이터만 생성하는 5-way beam search를 사용합니다.
(슈마일로프 등, 2023)은 모델 붕괴를 정의하고 두 가지 메커니즘, 즉 모델을 훈련할 때의 유한 샘플링(낮은 확률 데이터의 차단으로 이어짐)과 함수 근사 오류(모델이 실제 분포를 모델링하기에 충분히 표현력이 부족함)에 기인한다고 설명합니다. 이들은 (단일 가우스의 경우 증명한) 유한한 '훈련 데이터'를 반복적으로 리샘플링하면 생성된 분포가 점점 더 뾰족해지는 현상을 관찰합니다. 경험적으로 연구된 다른 모델로는 (두 개의) 가우스 혼합물과 MNIST의 VAE가 있습니다. 언어 모델을 연구하기 위해 (Shumailov et al., 2023)은 위키데이터2에서 메타의 OPT-125M 모델을 반복적으로 미세 조정합니다. 새로운 텍스트 생성을 위해 본질적으로 (대략적으로) 낮은 복잡도 데이터만 생성하는 5-way 빔 검색을 사용합니다.