**Empirical Hutter++ Model.** In Figure 6, we use an initial model that is trained on \(T_{0}=100,000\) samples from the original distribution. For the Gen 1 line, the data are all generated from this initial model. From Gen 2 onwards, models are iteratively trained on data produced by the most performant model of the preceding generation, effectively eliminating the possibility that model collapse results from inadequate sampling. For Gen 1, a notable degradation in data scalability is observed, alongside a rapid decline in model performance across generations. These observations not only validate our theoretical result but also reaffirm our assumptions. A similar pattern is evident with temperature scaling, as shown in Figure 16.
**Empirical Hutter++ Model.** 그림 6에서는 원래 분포에서 \(T_{0}=100,000\) 샘플에 대해 학습된 초기 모델을 사용합니다. Gen 1 라인의 경우, 데이터는 모두 이 초기 모델에서 생성됩니다. 2세대부터는 가장 성능이 우수한 모델이 생성한 데이터에 대해 반복적으로 모델을 학습시켜 모델 붕괴가 불충분한 샘플링으로 인해 발생할 가능성을 효과적으로 제거합니다. Gen 1의 경우, 데이터 확장성이 눈에 띄게 저하되는 동시에 여러 세대에 걸쳐 모델 성능이 급격히 하락하는 것이 관찰됩니다. 이러한 관찰 결과는 이론적 결과를 검증할 뿐만 아니라 가정을 재확인하는 결과이기도 합니다. 그림 16에서 볼 수 있듯이 temperature scaling에서도 비슷한 패턴이 나타납니다.
**경험적 허터++ 모델.** 그림 6에서는 원래 분포에서 \(T_{0}=100,000\) 샘플에 대해 학습된 초기 모델을 사용합니다. Gen 1 라인의 경우, 데이터는 모두 이 초기 모델에서 생성됩니다. 2세대부터는 가장 성능이 우수한 모델이 생성한 데이터에 대해 반복적으로 모델을 학습시켜 모델 붕괴가 불충분한 샘플링으로 인해 발생할 가능성을 효과적으로 제거합니다. Gen 1의 경우, 데이터 확장성이 눈에 띄게 저하되는 동시에 여러 세대에 걸쳐 모델 성능이 급격히 하락하는 것이 관찰됩니다. 이러한 관찰 결과는 이론적 결과를 검증할 뿐만 아니라 가정을 재확인하는 결과이기도 합니다. 그림 16에서 볼 수 있듯이 온도 스케일링에서도 비슷한 패턴이 나타납니다.