_(4) Mitigation Strategies._ In Theorem 3.2 we show that mixing AI-generated data with even a small amount of clean data mitigates model collapse by introducing a grokking phenomenon. The length of the plateau is of order \(k^{\beta}/\pi\), where \(\pi\) is the proportion of training data which is from the true distribution (i.e clean data). When \(\pi=0\) (i.e only AI-generated data available), this plateau goes on forever (as in (2) and (4)). When \(\pi>0\), however small, the plateau finally halts, and the error continues to decrease a la \(T^{-c}\). This grokking phenomenon holds in the setting of _deterministic_ ground truth labels (like in the models of Hutter (2021); Cabannes et al. (2023)). For transformer models, such deterministic settings are found for instance in arithmetic tasks, and we demonstrate it empirically in our GCD transformer experiments. The grokking effect becomes attenuated in probabilistic settings, where it can lead to an S-shaped learning curve (see Figure 19). We also identify regimes where adding AI data can be beneficial and discuss ways to curate "tail" data to mitigate AI-data effects.
_(4) 완화 전략._ 정리 3.2에서는 AI 생성 데이터를 소량의 깨끗한 데이터와 혼합하면 그로킹 현상을 유도하여 모델 붕괴를 완화할 수 있음을 보여줍니다. 고원의 길이는 \(k^{\beta}/\pi\)의 차수이며, 여기서 \(\pi\)는 실제 분포(즉, 깨끗한 데이터)에서 나온 훈련 데이터의 비율입니다. \(\pi=0\) (즉, AI 생성 데이터만 사용 가능한 경우)이면 이 고원은 영원히 지속됩니다((2) 및 (4)에서와 같이). 그러나 \(\pi>0\)이라 할지라도, 이 고원은 결국 멈추고 오차는 \(T^{-c}\)와 같이 계속 감소합니다. 이러한 grokking 현상은 (Hutter (2021); Cabannes et al. (2023))의 모델에서와 같이 _결정론적_ 지상 실측 레이블 설정에서 유지됩니다. Transformer 모델의 경우, 예를 들어 산술 작업에서 이러한 결정론적 설정을 찾을 수 있으며, 이를 GCD Transformer 실험을 통해 경험적으로 입증했습니다. grokking 효과는 확률적 설정에서 약화되어 S자형 학습 곡선으로 이어질 수 있습니다(그림 19 참조). 또한 AI 데이터를 추가하는 것이 유익할 수 있는 영역을 식별하고 AI 데이터 효과를 완화하기 위해 "꼬리" 데이터를 큐레이션하는 방법에 대해 논의합니다.
_(4) 완화 전략._ 정리 3.2에서는 AI 생성 데이터를 소량의 깨끗한 데이터와 혼합하면 그로킹 현상을 유도하여 모델 붕괴를 완화할 수 있음을 보여줍니다. 고원의 길이는 \(k^{\베타}/\pi\)의 차수이며, 여기서 \(\pi\)는 실제 분포(즉, 깨끗한 데이터)에서 나온 훈련 데이터의 비율입니다. pi=0(즉, AI 생성 데이터만 사용 가능한 경우)이면 이 고원은 영원히 지속됩니다((2) 및 (4)에서와 같이). 그러나 \(\pi>0\)이라 할지라도, 이 고원은 결국 멈추고 오차는 \(T^{-c}\)와 같이 계속 감소합니다. 이러한 그로킹 현상은 (Hutter (2021); Cabannes et al. (2023))의 모델에서와 같이 _결정론적_ 지상 실측 레이블 설정에서 유지됩니다. 트랜스포머 모델의 경우, 예를 들어 산술 작업에서 이러한 결정론적 설정을 찾을 수 있으며, 이를 GCD 트랜스포머 실험을 통해 경험적으로 입증했습니다. 그로킹 효과는 확률적 설정에서 약화되어 S자형 학습 곡선으로 이어질 수 있습니다(그림 19 참조). 또한 AI 데이터를 추가하는 것이 유익할 수 있는 영역을 식별하고 AI 데이터 효과를 완화하기 위해 "꼬리" 데이터를 큐레이션하는 방법에 대해 논의합니다.