This result is empirically confirmed in Figure 21 and proved in Appendix E. It gives rise to similarly tapered-off scaling curves for synthetic data, as in the simpler models. The proofs for loss of scaling across generations in Section 2 and grokking phenomena in Section 3, carry over to this model as well, demonstrating their universality.
이 결과는 그림 21에서 경험적으로 확인되며 부록 E에서 증명됩니다. 이는 단순한 모델에서와 마찬가지로 합성 데이터에 대해 유사하게 테이퍼 오프 scaling 곡선을 생성합니다. 섹션 2의 여러 세대에 걸친 scaling 손실에 대한 증명과 섹션 3의 grokking 현상은 이 모델에도 적용되어 보편성을 입증합니다.
이 결과는 그림 21에서 경험적으로 확인되며 부록 E에서 증명됩니다. 이는 단순한 모델에서와 마찬가지로 합성 데이터에 대해 유사하게 테이퍼 오프 스케일링 곡선을 생성합니다. 섹션 2의 여러 세대에 걸친 스케일링 손실에 대한 증명과 섹션 3의 그로킹 현상은 이 모델에도 적용되어 보편성을 입증합니다.