Figure 10: Empirical Validation of Theorem 3.2. The broken line corresponds to the \(T^{-(1-1/\beta)}\) scaling law that would hold throughout in the absence of pollution. Notice the grokking behavior predicted by the theorem. For this experiment, the Zipf exponent of the true data distribution \(p\) is \(\beta=2\).
그림 10: 정리 3.2의 경험적 검증. 점선은 오염이 없을 때 전체에 걸쳐 유지되는 \(T^{-(1-1/\beta)}\) scaling law에 해당합니다. 정리에 의해 예측된 grokking 동작에 유의하십시오. 이 실험의 경우, 실제 데이터 분포 \(p\)의 Zipf 지수는 \(\beta=2\)입니다.
그림 10: 정리 3.2의 경험적 검증. 점선은 오염이 없을 때 전체에 걸쳐 유지되는 \(T^{-(1-1/\beta)}\) 스케일링 법칙에 해당합니다. 정리에 의해 예측된 그로킹 동작에 유의하십시오. 이 실험의 경우, 실제 데이터 분포 \(p\)의 지프 지수는 \(\beta=2\)입니다.