Figure 13: **Empirical Hutter LLM.** Bigram model with deterministic labeling function. Initial model trained on \(T_{0}=100,000\) samples. It generates \(T\) samples for Gen 1. Starting from Gen 2 models are trained on data generated by the most powerful model from the previous generation. \(\beta=3/2\). In this setting, there is mild model collapse coming from the finite sample bias.
Figure 13: **Empirical Hutter LLM.** 결정론적 라벨링 함수가 있는 바이그램 모델. 초기 모델은 \(T_{0}=100,000\) 샘플로 훈련되었습니다. 이 모델은 Gen 1을 위해 \(T\) 샘플을 생성합니다. Gen 2부터는 이전 세대에서 가장 강력한 모델이 생성한 데이터를 기반으로 모델이 훈련됩니다. \(\beta=3/2\). 이 설정에서는 유한 샘플 편향으로 인한 경미한 모델 붕괴가 발생합니다.
그림 13: **경험적 허터 LLM.** 결정론적 라벨링 함수가 있는 바이그램 모델. 초기 모델은 \(T_{0}=100,000\) 샘플에 대해 학습됩니다. Gen 1에 대해 \(T\) 샘플을 생성합니다. 2세대부터는 이전 세대의 가장 강력한 모델이 생성한 데이터에 대해 모델을 학습합니다. \(\베타=3/2\). 이 설정에서는 유한 샘플 편향으로 인해 약간의 모델 붕괴가 발생합니다.