Here, we present the core of our theory for the simplest case of (i) _infinite memory_ and (ii) _a deterministic ground truth_ labeling function \(i\mapsto y_{i}\), studied by Hutter (2021) (the _"Hutter LLM"_). Both restrictions will be lifted in later sections, where we also analyze an _probabilistic autoregressive_ version (Section 4) and _limited memory_ models (Section 5). Token \(i\) is drawn according to the Zipf law in Equation (1), which e.g. models distribution of various metrics in language. Another interpretation of the appearance of a power-law is offered by the "Quantization Hypothesis" paper of Michaud et al. (2023): one may think of each \(i\) as some discrete skill, needed to solve a problem for example; thus, the skills occur at different rates \(p_{i}\). The shape parameter \(\beta>1\) controls the length of the tail of this distribution: bigger values of \(\beta\) correspond to longer tails.
여기서는 Hutter(2021)에서 연구한 가장 간단한 경우인 (i) _무한 메모리_와 (ii) _결정론적 기준값_ 라벨링 함수 \(i\mapsto y_{i}\), 즉 _"Hutter LLM"_에 대한 이론의 핵심을 제시한다. 이러한 제한은 _probabilistic autoregressive_ 버전(섹션 4)과 _제한된 메모리_ 모델(섹션 5)을 분석하는 후단면에서 모두 해제될 것입니다. 토큰 \(i\)는 방정식 (1)의 Zipf 법칙에 따라 추출되며, 이는 예를 들어 언어에서 다양한 메트릭의 분포를 모델링합니다. 파워 규칙의 또 다른 해석은 Michaud 등(2023)의 "Quantization Hypothesis" 논문에서 볼 수 있는데, 각 \(i\)를 예를 들어 문제를 해결하는 데 필요한 이산적인 기술이라고 생각할 수 있으며, 따라서 기술은 다른 비율 \(p_{i}\)로 발생합니다. 모양 매개변수 \(\beta>1\)은 이 분포의 꼬리 길이를 제어하며, \(\beta\)의 값이 클수록 꼬리가 길어집니다.
여기서는 Hutter(2021)에서 연구한 가장 간단한 경우인 (i) _무한 메모리_와 (ii) _결정론적 기준값_ 라벨링 함수 \(i\mapsto y_{i}\), 즉 _"Hutter LLM"_에 대한 이론의 핵심을 제시한다. 이러한 제한은 _확률적 자동 회귀_ 버전(섹션 4)과 _제한된 메모리_ 모델(섹션 5)을 분석하는 후단면에서 모두 해제될 것입니다. 토큰 \(i\)는 방정식 (1)의 지프 법칙에 따라 추출되며, 이는 예를 들어 언어에서 다양한 메트릭의 분포를 모델링합니다. 파워 규칙의 또 다른 해석은 Michaud 등(2023)의 "양자화 가설" 논문에서 볼 수 있는데, 각 \(i\)를 예를 들어 문제를 해결하는 데 필요한 이산적인 기술이라고 생각할 수 있으며, 따라서 기술은 다른 비율 \(p_{i}\)로 발생합니다. 모양 매개변수 \(\beta>1\)은 이 분포의 꼬리 길이를 제어하며, \(\beta\)의 값이 클수록 꼬리가 길어집니다.