As AI model size grows, neural _scaling laws_ have become a crucial tool to predict the improvements of large models when increasing capacity and the size of original (human or natural) training data. Yet, the widespread use of popular models means that the ecosystem of online data and text will co-evolve to progressively contain increased amounts of synthesized data. In this paper we ask: _How will the scaling laws change in the inevitable regime where synthetic data makes its way into the training corpus?_ Will future models, still improve, or be doomed to degenerate up to total _(model) collapse_? We develop a theoretical framework of model collapse through the lens of scaling laws. We discover a wide range of decay phenomena, analyzing loss of scaling, shifted scaling with number of generations, the "un-learning" of skills, and grokking when mixing human and synthesized data. Our theory is validated by large-scale experiments with a transformer on an arithmetic task and text generation using the large language model Llama2.
AI 모델 규모가 커짐에 따라 신경 _scaling laws_은 용량을 늘리고 원본(인간 또는 자연) 학습 데이터의 크기를 늘릴 때 대규모 모델의 개선을 예측하는 데 중요한 도구가 되었습니다. 그러나 대중적인 모델의 광범위한 사용은 온라인 데이터 및 텍스트 생태계가 진화하여 점진적으로 더 많은 양의 합성 데이터를 포함하게 될 것입니다. 이 백서에서는 다음과 같은 질문을 던집니다: _합성 데이터가 학습 코퍼스에 포함될 수밖에 없는 체제에서 scaling laws은 어떻게 변할 것인가?_ 미래의 모델은 여전히 개선될 것인가, 아니면 완전히 _(모델) 붕괴_에 이르기까지 퇴보할 수밖에 없을 것인가? 저희는 scaling laws의 렌즈를 통해 모델 붕괴의 이론적 프레임워크를 개발했습니다. 저희는 손실의 확장성 상실, 세대 수에 따른 확장성 이동, 인간 데이터와 합성 데이터를 혼합할 때의 기술 '언러닝' 및 그로킹 분석 등 광범위한 감쇠 현상을 발견했습니다. 이 이론은 산술 작업에 대한 transformer와 대규모 언어 모델 Llama2를 사용한 텍스트 생성을 대상으로 한 대규모 실험을 통해 검증되었습니다.
AI 모델 규모가 커짐에 따라 신경 _스케일링 법칙_은 용량을 늘리고 원본(인간 또는 자연) 학습 데이터의 크기를 늘릴 때 대규모 모델의 개선을 예측하는 데 중요한 도구가 되었습니다. 그러나 대중적인 모델의 광범위한 사용은 온라인 데이터 및 텍스트 생태계가 진화하여 점진적으로 더 많은 양의 합성 데이터를 포함하게 될 것입니다. 이 백서에서는 다음과 같은 질문을 던집니다: _합성 데이터가 학습 코퍼스에 포함될 수밖에 없는 체제에서 스케일링 법칙은 어떻게 변할 것인가?_ 미래의 모델은 여전히 개선될 것인가, 아니면 완전히 _(모델) 붕괴_에 이르기까지 퇴보할 수밖에 없을 것인가? 저희는 스케일링 법칙의 렌즈를 통해 모델 붕괴의 이론적 프레임워크를 개발했습니다. 저희는 손실의 확장성 상실, 세대 수에 따른 확장성 이동, 인간 데이터와 합성 데이터를 혼합할 때의 기술 '언러닝' 및 그로킹 분석 등 광범위한 감쇠 현상을 발견했습니다. 이 이론은 산술 작업에 대한 트랜스포머와 대규모 언어 모델 Llama2를 사용한 텍스트 생성을 대상으로 한 대규모 실험을 통해 검증되었습니다.