In this section we present our experimental results to demonstrate evidence of various predictions we have made theoretically. We showcase four scenarios of increasing level of complexity: an empirical Hutter++ model, autoregressive bigram models with _perplexity loss_, an arithmetic transformer to predict the GCD of two integers (Charton, 2023) and a large-scale LLM, Llama2-7B (Touvron et al., 2023), trained on a large data corpus (Wikidata-103).
이 섹션에서는 이론적으로 예측한 다양한 예측의 증거를 보여주기 위해 실험 결과를 제시합니다. 경험적 Hutter++ 모델, _Perplexity Loss_이 있는 자동 회귀 이그램 모델, 두 정수의 GCD를 예측하는 산술 Transformer(Charton, 2023), 대규모 데이터 코퍼스(Wikidata-103)에 대해 학습된 대규모 LLM, Llama2-7B(Touvron et al., 2023)의 네 가지 복잡도 증가 시나리오를 소개합니다.
이 섹션에서는 이론적으로 예측한 다양한 예측의 증거를 보여주기 위해 실험 결과를 제시합니다. 경험적 Hutter++ 모델, _복잡도 손실_이 있는 자동 회귀 이그램 모델, 두 정수의 GCD를 예측하는 산술 트랜스포머(Charton, 2023), 대규모 데이터 코퍼스(Wikidata-103)에 대해 학습된 대규모 LLM, Llama2-7B(Touvron et al., 2023)의 네 가지 복잡도 증가 시나리오를 소개합니다.