To our knowledge, however, very few papers deal with the decay of scaling in the case of self-consuming loops. A notable example is (Mobahi et al., 2020) which studies iterated retraining in the context of self-(knowledge-)distillation in the kernel setting. However, this analysis is very distinct from our work, not only because it places itself in the kernel setting with Gaussian design, but also because it assumes the distillation setting, where the "generation" stage is carefully optimized for the next stage training. In the case of synthesized data in the wild, this assumption can of course not be made.
그러나 우리가 아는 한, 자체 소비 루프의 경우 scaling 감소를 다룬 논문은 거의 없습니다. 주목할 만한 예로 커널 설정에서 자체 (지식-)증류의 맥락에서 반복 훈련을 연구한 (Mobahi et al., 2020)이 있습니다. 그러나 이 분석은 가우스 설계의 커널 설정에 위치한다는 점뿐만 아니라 "generation" 단계가 다음 단계 훈련을 위해 신중하게 최적화되는 증류 설정을 가정한다는 점에서 우리의 작업과는 매우 다릅니다. 야생에서 합성된 데이터의 경우 이러한 가정은 당연히 할 수 없습니다.
그러나 우리가 아는 한, 자체 소비 루프의 경우 스케일링 감소를 다룬 논문은 거의 없습니다. 주목할 만한 예로 커널 설정에서 자체 (지식-)증류의 맥락에서 반복 훈련을 연구한 (Mobahi et al., 2020)이 있습니다. 그러나 이 분석은 가우스 설계의 커널 설정에 위치한다는 점뿐만 아니라 "생성" 단계가 다음 단계 훈련을 위해 신중하게 최적화되는 증류 설정을 가정한다는 점에서 우리의 작업과는 매우 다릅니다. 야생에서 합성된 데이터의 경우 이러한 가정은 당연히 할 수 없습니다.