Here we explore the possibility of alleviating model collapse via the acquisition of even a tiny amount of data from the true data distribution, to complement AI polluted data. We study two phenomena: (1) In the case of mixing \(\pi\)-fraction of the original data with a \((1-\pi)\) fraction of AI-generated data we exhibit a startling "grokking" phenomenon where test loss plateaus with increasing training data to finally decrease again according to the scaling law of the original model, and (2) in the scenario where we would like to compensate for missing "tail", we acquire some data from the tail of the original distribution to show that this needs to be done with caution: getting data from "too deep" in the tail is worthless while data closer to the precise "missing" tail can be beneficial. All proofs can be found in Appendix C.
여기에서는 AI로 오염된 데이터를 보완하기 위해 실제 데이터 분포에서 소량의 데이터를 확보하여 모델 붕괴를 완화할 수 있는 가능성을 살펴봅니다. 우리는 두 가지 현상을 연구합니다: (1) 원본 데이터의 \(\pi\)-분율과 AI 생성 데이터의 \((1-\pi)\)-분율을 혼합하는 경우, 증가하는 훈련 데이터에 따라 테스트 Loss가 정체되었다가 마침내 원래 모델의 Scaling law에 따라 다시 감소하는 놀라운 "grokking" 현상을 보여주고, (2) "꼬리" 누락을 보완하고자 하는 시나리오에서 원래 분포의 꼬리에서 일부 데이터를 획득하여 이를 주의 깊게 수행해야 함을 보여줍니다: "너무 깊은" 꼬리에서 데이터를 얻는 것은 가치가 없는 반면, 정확한 "누락" 꼬리에 가까운 데이터는 유용할 수 있습니다. 모든 증명은 부록 C에서 확인할 수 있습니다.
여기에서는 AI로 오염된 데이터를 보완하기 위해 실제 데이터 분포에서 소량의 데이터를 확보하여 모델 붕괴를 완화할 수 있는 가능성을 살펴봅니다. 우리는 두 가지 현상을 연구합니다: (1) 원본 데이터의 \(\pi\)-분율과 AI 생성 데이터의 \((1-\pi)\)-분율을 혼합하는 경우, 증가하는 훈련 데이터에 따라 테스트 손실이 정체되었다가 마침내 원래 모델의 스케일링 법칙에 따라 다시 감소하는 놀라운 "그로킹" 현상을 보여주고, (2) "꼬리" 누락을 보완하고자 하는 시나리오에서 원래 분포의 꼬리에서 일부 데이터를 획득하여 이를 주의 깊게 수행해야 함을 보여줍니다: "너무 깊은" 꼬리에서 데이터를 얻는 것은 가치가 없는 반면, 정확한 "누락" 꼬리에 가까운 데이터는 유용할 수 있습니다. 모든 증명은 부록 C에서 확인할 수 있습니다.