Figure 3: **Illustration of Our Main Results for Simplified LLMs. Left plot. Empirical confirmation of the double scaling law. The true distribution of the data is Zipf with exponent \(\beta=3/2\). Broken lines correspond to \(k^{-(\beta-1)}\), for varying \(T\) and different values of \(k\). Middle plot. Model collapse over multiple generations. Again \(\beta=3/2\), \(T_{0}=T\) across all generations with no additional tail-cutting, regeneration for 5 times. Right plot. Notice the grokking behavior, as perfectly predicted by the Theorem 3.2. For any given value \(\pi\) for the proportion of real data, the broken lines are asymptotes \(E_{test}\asymp(\pi T)^{-c}\) and each plateau has length of order \(k^{d}/\pi\), both predicted by the theorem. See Figure 10 for similar results with other values of \(k\).**of generations moves the loss scaling curve progressively to the right. This leads to eventual model collapse.
그림 3: **단순화된 LLM에 대한 주요 결과의 예시. 왼쪽 플롯. 이중 scaling law의 경험적 확인. 데이터의 실제 분포는 지수 \(\beta=3/2\)를 갖는 Zipf 분포입니다. 끊어진 선은 다양한 \(T\)와 다른 값의 \(k\)에 대해 \(k^{-(\beta-1)}\)에 해당합니다. 중간 플롯. 여러 세대에 걸친 모델 붕괴. 다시 \(\beta=3/2\), 모든 세대에 걸쳐 \(T_{0}=T\)이며 추가 꼬리 절단 없이 5번 재생성됩니다. 오른쪽 플롯. 정확히 Theorem 3.2에 의해 예측된 grokking 동작에 유의하십시오. 실제 데이터의 비율에 대해 주어진 값 \(\pi\)에 대해 끊어진 선은 이론에 의해 예측된 점근 \(E_{test}\asymp(\pi T)^{-c}\)이고 각 고원의 길이는 \(k^{d}/\pi\)의 차수를 갖습니다. 다른 값의 \(k\)에 대한 유사한 결과는 그림 10을 참조하십시오.**
그림 3: **단순화된 LLM에 대한 주요 결과의 예시. 왼쪽 플롯. 이중 스케일링 법칙의 경험적 확인. 데이터의 실제 분포는 지수 \(\베타=3/2\)를 갖는 지프 분포입니다. 끊어진 선은 다양한 \(T\)와 다른 값의 \(k\)에 대해 \(k^{-(\beta-1)}\)에 해당합니다. 중간 플롯. 여러 세대에 걸친 모델 붕괴. 다시 \(\beta=3/2\), 모든 세대에 걸쳐 \(\T_{0}=T\)이며 추가 꼬리 절단 없이 5번 재생성됩니다. 오른쪽 플롯. 정확히 이론 3.2에 의해 예측된 그로킹 동작에 유의하십시오. 실제 데이터의 비율에 대해 주어진 값 \(\pi\)에 대해 끊어진 선은 이론에 의해 예측된 점근 \(E_{test}\asymp(\pi T)^{-c}\)이고 각 고원의 길이는 \(k^{d}/\pi\)의 차수를 갖습니다. 다른 값의 \(k\)에 대한 유사한 결과는 그림 10을 참조하십시오.)