Recall that Bertrand et al. (2023) also formally study such mixtures for iterative retraining. In their setting, they show the existence of fixed points in the mixture proportion that delineates the region of model collapse. These results are complimentary and not contradictory to ours: they combine mixing, large number of iteration, and data-decay, thus studying a combination of effects (under different theoretical conditions, not focusing on scaling laws) that our preceding theorems address separately.
Bertrand 등(2023)도 반복 훈련을 위해 이러한 혼합을 공식적으로 연구했다는 점을 기억하세요. 이 설정에서 그들은 모델 붕괴 영역을 묘사하는 혼합 비율에서 고정점의 존재를 보여줍니다. 이러한 결과는 우리의 결과와 모순되는 것이 아니라 상호 보완적인 결과입니다. 이들은 혼합, 많은 반복 횟수, 데이터 감쇠를 결합하여 이론적 조건이 다르고 scaling laws에 초점을 맞추지 않고 선행 정리가 개별적으로 다루는 효과의 조합을 연구합니다.
Bertrand 등(2023)도 반복 훈련을 위해 이러한 혼합을 공식적으로 연구했다는 점을 기억하세요. 이 설정에서 그들은 모델 붕괴 영역을 묘사하는 혼합 비율에서 고정점의 존재를 보여줍니다. 이러한 결과는 우리의 결과와 모순되는 것이 아니라 상호 보완적인 결과입니다. 이들은 혼합, 많은 반복 횟수, 데이터 감쇠를 결합하여 이론적 조건이 다르고 스케일링 법칙에 초점을 맞추지 않고 선행 정리가 개별적으로 다루는 효과의 조합을 연구합니다.