**Grokking for Mixtures.** Technically speaking, this grokking phenomenon only holds for models with deterministic ground truth labels, like the Hutter LLM and the limited capacity associative memory model. For the _probabilistic_ setting of bigrams (or text LLMs) the theorem cannot hold in its pure form, because if we train on a mixture of two distributions (clean and synthetic) but test only on the clean distribution, the distance between these two distributions will always be a lower bound on the test error. However, we can see that remnants of a "smoothed" grokking-law persist in the form of an S-shaped scaling (see Figure 19 in Appendix B).
**혼합물에 대한 Grokking**. 엄밀히 말하면, 이러한 Grokking 현상은 Hutter LLM 및 제한된 용량의 연상 기억 모델과 같이 결정론적인 지상 실측 레이블을 가진 모델에만 적용됩니다. 빅램(또는 텍스트 LLM)의 _확률적_ 설정의 경우, 두 분포(정제 및 합성)의 혼합물로 학습하되 정제된 분포로만 테스트하는 경우 이 두 분포 사이의 거리는 항상 테스트 오류의 하한이 되기 때문에 이 정리가 순수한 형태로 적용될 수 없습니다. 그러나 "평활화된" Grokking 법칙의 잔재가 S자형 스케일링의 형태로 지속된다는 것을 알 수 있습니다(부록 B의 그림 19 참조).
**혼합물에 대한 그로킹**. 엄밀히 말하면, 이러한 그로킹 현상은 Hutter LLM 및 제한된 용량의 연상 기억 모델과 같이 결정론적인 지상 실측 레이블을 가진 모델에만 적용됩니다. 빅램(또는 텍스트 LLM)의 _확률적_ 설정의 경우, 두 분포(정제 및 합성)의 혼합물로 학습하되 정제된 분포로만 테스트하는 경우 이 두 분포 사이의 거리는 항상 테스트 오류의 하한이 되기 때문에 이 정리가 순수한 형태로 적용될 수 없습니다. 그러나 "평활화된" 그로킹 법칙의 잔재가 S자형 스케일링의 형태로 지속된다는 것을 알 수 있습니다(부록 B의 그림 19 참조).