In the advent of the "synthetic data age", our work signals the end of current neural scaling laws and opens the door to a puzzling array of new phenomena in a world where the training corpora are enriched with AI generated data. We demonstrate that scaling laws cease to persist; test error tapers off due to altered, less heavy tailed, data distributions. As noted already in prior work, in a fully synthetic data world learning will stop and models will degenerate - their scaling will halt and revert completely. Yet, new opportunities arise from careful mixture and data curation, as we have shown, with interesting effects at the interplay of clean and synthesized data. We must recognize new learning plateaus and, for instance, adjust to changed learning curves from blending clean and synthetic data to unintended early stopping. A notable feature of our work is that our theory is _effective_ - we observe the predicted phenomena for relevant large models in two different settings.
"합성 데이터 시대"의 도래에 따라, 우리의 연구는 현재의 신경 Scaling laws의 종말을 알리는 동시에 AI가 생성한 데이터로 학습 데이터 세트가 풍부해지는 세상에서 새로운 현상의 문을 열었습니다. 우리는 Scaling laws가 지속되지 않고, 데이터 분포가 덜 무거워지고 변경되어 테스트 오류가 줄어드는 것을 보여 줍니다. 이전 연구에서 이미 언급했듯이, 완전히 합성 데이터의 세계에서는 학습이 중단되고 모델이 변질되며, 즉 확장이 중단되고 완전히 되돌아갈 것입니다. 그러나 우리가 보여 놓은 것처럼 신중한 혼합과 데이터 큐레이션에서 새로운 기회가 생겨나며, 깨끗한 데이터와 합성된 데이터의 상호 작용에서 흥미로운 효과가 나타납니다. 우리는 새로운 학습 고원을 인식하고, 예를 들어 깨끗한 데이터와 합성 데이터를 혼합하여 의도하지 않은 조기 중지로 인한 학습 곡선의 변화에 적응해야 합니다. 우리 연구의 주목할 만한 특징은 이론이 _효과적_이라는 점입니다. 우리는 두 가지 다른 설정에서 관련성이 큰 모델에 대해 예측된 현상을 관찰했습니다.
"합성 데이터 시대"의 도래에 따라, 우리의 연구는 현재의 신경 확장 법칙의 종말을 알리는 동시에 AI가 생성한 데이터로 학습 데이터 세트가 풍부해지는 세상에서 새로운 현상의 문을 열었습니다. 우리는 확장 법칙이 지속되지 않고, 데이터 분포가 덜 무거워지고 변경되어 테스트 오류가 줄어드는 것을 보여 줍니다. 이전 연구에서 이미 언급했듯이, 완전히 합성 데이터의 세계에서는 학습이 중단되고 모델이 변질되며, 즉 확장이 중단되고 완전히 되돌아갈 것입니다. 그러나 우리가 보여 놓은 것처럼 신중한 혼합과 데이터 큐레이션에서 새로운 기회가 생겨나며, 깨끗한 데이터와 합성된 데이터의 상호 작용에서 흥미로운 효과가 나타납니다. 우리는 새로운 학습 고원을 인식하고, 예를 들어 깨끗한 데이터와 합성 데이터를 혼합하여 의도하지 않은 조기 중지로 인한 학습 곡선의 변화에 적응해야 합니다. 우리 연구의 주목할 만한 특징은 이론이 _효과적_이라는 점입니다. 우리는 두 가지 다른 설정에서 관련성이 큰 모델에 대해 예측된 현상을 관찰했습니다.