Figure 25: **Autoregressive Bigram Model with Perplexity Loss.** Each sequence data have length 100. Initial model trained on \(T_{0}=10,000\) samples. It generates \(T\) samples for Gen 1. Starting from Gen 2 models are trained on data generated by the most powerful model from the previous generation. Top-p 1, temperature 1, \(\beta=3/2\).
그림 25: **Perplexity Loss가 있는 Autoregressive Bigram Model.** 각 시퀀스 데이터의 길이는 100입니다. 초기 모델은 \(T_{0}=10,000\) 샘플에 대해 학습됩니다. 1세대에 대해 \(T\) 샘플을 생성합니다. 2세대부터는 이전 세대의 가장 강력한 모델이 생성한 데이터에 대해 모델을 학습합니다. Top-p 1, temperature 1, \(\beta=3/2\).
그림 25: **난해도 손실이 있는 자동 회귀 이그램 모델.** 각 시퀀스 데이터의 길이는 100입니다. 초기 모델은 \(T_{0}=10,000\) 샘플에 대해 학습됩니다. 1세대에 대해 \(T\) 샘플을 생성합니다. 2세대부터는 이전 세대의 가장 강력한 모델이 생성한 데이터에 대해 모델을 학습합니다. 상위 p 1, 온도 1, \(\beta=3/2\).