Footnote 7: We were constrained to stop the experiments at after about 3B samples for most, due to heavy use of compute resources. This probably explains why for the larger AI-mixtures only a few experiments could successfully find new GCDs - the other experiments where still in the pre-grokking phase when they were stopped.
각주 7: 대부분의 경우 컴퓨팅 리소스 사용량이 많았기 때문에 약 3B 샘플 이후에 실험을 중단해야 했습니다. 이것이 아마도 더 큰 AI-mixtures에서 몇 개의 실험만이 새로운 GCD를 성공적으로 찾을 수 있었던 이유인 것 같습니다. 다른 실험들은 중단되었을 때 아직 pre-grokking 단계에 있었기 때문입니다.
각주 7: 대부분의 경우 컴퓨팅 리소스 사용량이 많았기 때문에 약 3B 샘플 이후에 실험을 중단해야 했습니다. 이것이 아마도 더 큰 AI 혼합에서 몇 개의 실험만이 새로운 GCD를 성공적으로 찾을 수 있었던 이유인 것 같습니다. 다른 실험들은 중단되었을 때 아직 그로킹 단계에 있었기 때문입니다.