**Autoregressive Bigram Models with Perplexity Loss.** We move one step further towards "real" LLMs to investigate autoregressive bigram models. The dataset now comprises sequentially generated integers, adhering to Equation (16), with the model trained on all tokens. We use the averaged perplexity score of the test set as the test error metric. Our study encompasses a range of effects--such as top-p inference, temperature scaling, limited real data, and training on progressively larger AI datasets. Consistent with the findings in Section 4, we observe the same patterns of scaling loss and progressive model collapse across generations. Relevant figures are provided in Appendix F.
**Perplexity Loss가 있는 Autoregressive Bigram Models.** "실제" LLM에 한 걸음 더 다가가 Autoregressive Bigram Models를 조사합니다. 이제 데이터 세트는 순차적으로 생성된 정수로 구성되며, 방정식 (16)을 준수하며 모든 토큰에 대해 모델이 학습됩니다. 테스트 세트의 평균 Perplexity 점수를 테스트 오류 메트릭으로 사용합니다. 이 연구에는 top-p inference, temperature scaling, 제한된 실제 데이터, 점진적으로 더 큰 AI 데이터 세트에 대한 훈련과 같은 다양한 효과가 포함됩니다. 섹션 4의 연구 결과와 일관되게, 우리는 여러 세대에 걸쳐 동일한 패턴의 scaling loss와 점진적인 모델 붕괴를 관찰합니다. 관련 그림은 부록 F에 나와 있습니다.
**어려움 손실이 있는 자동 회귀 이그램 모델.** "실제" LLM에 한 걸음 더 다가가 자동 회귀 이그램 모델을 조사합니다. 이제 데이터 세트는 순차적으로 생성된 정수로 구성되며, 방정식 (16)을 준수하며 모든 토큰에 대해 모델이 학습됩니다. 테스트 세트의 평균 어려움 점수를 테스트 오류 메트릭으로 사용합니다. 이 연구에는 상위 p 추론, 온도 스케일링, 제한된 실제 데이터, 점진적으로 더 큰 AI 데이터 세트에 대한 훈련과 같은 다양한 효과가 포함됩니다. 섹션 4의 연구 결과와 일관되게, 우리는 여러 세대에 걸쳐 동일한 패턴의 손실 배율과 점진적인 모델 붕괴를 관찰합니다. 관련 그림은 부록 F에 나와 있습니다.