Figure 20: **Hutter LLM.** true distribution of the data is Zipf with exponent \(\beta=2\). Here, the scalable resource is either clean data or AI data-generated data, corresponding to a version of real data with its tail cut at rank \(k\) (here we use \(k=10\)). We either mix with a fixed amount (here \(T^{\prime}=10^{4}\) samples) of the other resource, or we don’t mix at all. Then we scale up the scalable resource by cranking up \(T\). As predicted by Corollary 3.3, the orange curve always grokks: AI synthesized data is helpful in the regime where real data is scarce; once more of real data becomes available the model grokks for a while and then forgets the AI synthesized data. Note that the green curve (only AI data) and red curve (AI + real data) don’t grokk because the optional resource (real data) is not being scaled; if it is also scaled, then green and red will provably grokk (as in Figure 3). The diagonal broken line corresponds to the standard Hutter scaling law \(E_{test}\asymp T^{-c}\), where \(c:=1-1/\beta\). The horizontal broken lines correspond to \(E_{test}\asymp k^{-(\beta-1)}\) and \(E_{test}\asymp T^{\prime-c}\), both predicted by Theorem 2.1.
그림 20: **Hutter LLM.** 데이터의 실제 분포는 지수 \(\beta=2\)의 Zipf입니다. 여기서 확장 가능한 리소스는 정리된 데이터 또는 AI 데이터 생성 데이터이며, 이는 순위 \(k\)에서 꼬리가 잘린 실제 데이터의 버전에 해당합니다(여기서는 \(k=10\)을 사용합니다). 다른 리소스의 고정된 양(여기서는 \(T^{\prime}=10^{4}\) 샘플)과 혼합하거나 전혀 혼합하지 않습니다. 그런 다음 \(T\)를 높여 확장 가능한 리소스를 확장합니다. 3.3 정리의 예측에 따르면 주황색 곡선은 항상 이해합니다: 실제 데이터가 부족한 영역에서는 AI 합성 데이터가 유용하며, 실제 데이터가 더 많이 사용 가능해지면 모델은 잠시 동안 이해했다가 AI 합성 데이터를 잊어버립니다. 녹색 곡선(AI 데이터만)과 빨간색 곡선(AI + 실제 데이터)은 선택적 리소스(실제 데이터)가 확장되지 않기 때문에 그로킹이 되지 않지만, 이 리소스도 확장하면 그림 3에서와 같이 녹색과 빨간색이 증명 가능하게 그로킹됩니다. 대각선 파선은 표준 Hutter scaling law \(E_{test}\asymp T^{-c}\), 여기서 \(c:=1-1/\beta\)에 해당합니다. 가로 꺾은 선은 정리 2.1에 의해 예측된 \(E_{test}\asymp k^{-(\beta-1)}\) 및 \(E_{test}\asymp T^{\prime-c}\)에 해당합니다.
그림 20: **허터 LLM.** 데이터의 실제 분포는 지수 \(\beta=2\)의 지프입니다. 여기서 확장 가능한 리소스는 정리된 데이터 또는 AI 데이터 생성 데이터이며, 이는 순위 \(k\)에서 꼬리가 잘린 실제 데이터의 버전에 해당합니다(여기서는 \(k=10\)을 사용합니다). 다른 리소스의 고정된 양(여기서는 \(T^{\프라임}=10^{4}\) 샘플)과 혼합하거나 전혀 혼합하지 않습니다. 그런 다음 \(T\)를 높여 확장 가능한 리소스를 확장합니다. 3.3 정리의 예측에 따르면 주황색 곡선은 항상 이해합니다: 실제 데이터가 부족한 영역에서는 AI 합성 데이터가 유용하며, 실제 데이터가 더 많이 사용 가능해지면 모델은 잠시 동안 이해했다가 AI 합성 데이터를 잊어버립니다. 녹색 곡선(AI 데이터만)과 빨간색 곡선(AI + 실제 데이터)은 선택적 리소스(실제 데이터)가 확장되지 않기 때문에 그로킹이 되지 않지만, 이 리소스도 확장하면 그림 3에서와 같이 녹색과 빨간색이 증명 가능하게 그로킹됩니다. 대각선 파선은 표준 허터 스케일링 법칙 \(E_{test}\asymp T^{-c}\), 여기서 \(c:=1-1/\beta\)에 해당합니다. 가로 꺾은 선은 정리 2.1에 의해 예측된 \(E_{test}\asymp k^{-(\beta-1)}\) 및 \(E_{test}\asymp T^{\프라임-c}\)에 해당합니다.