**Transformers Learning the GCD.** Our first illustration of our theory "in the wild" is for sequence-to-sequence transformer models for an arithmetic task: predicting the greatest common divisor (GCD) of two integers, encoded as sequences of digits in some base \(B\) following Charton (2023). This setup is a perfect intermediate step between our toy models and large scale LLMs; it uses the transformer architecture and training algorithms on sizeable models, while the underlying data has a deterministic nature. Over the course of training the model progressively learns new GCDs and with them also their products with already learned GCDs. We can thus view each such learned group, usually learned in "bursts", as a new skill. For the purpose of this experiment, we use this model after \(300M\) samples as the generator of AI-data. In Figure 4 we validate the predicted scaling law for a single generation and observe 'un-learning' of skills when training exclusively with generated data, as well as a grokking effect when training with mixtures. See Appendix G for a full description and more details and Figures.
**GCD를 학습하는 Transformers.** 이론을 "실제"로 처음 보여주는 예는 Charton(2023)에 따라 두 정수의 최대공약수(GCD)를 예측하는 sequence-to-sequence transformer 모델로, 두 정수의 최대공약수를 일부 기저(B)의 숫자 시퀀스로 인코딩하는 산술 작업입니다. 이 설정은 장난감 모델과 대규모 LLM 사이의 완벽한 중간 단계로, transformer architecture와 훈련 알고리즘을 사용하여 상당한 규모의 모델에 대해 훈련하는 동시에 기본 데이터는 결정론적 특성을 가지고 있습니다. 모델은 훈련 과정에서 점진적으로 새로운 GCD를 학습하고, 이미 학습된 GCD와 함께 그 곱도 학습합니다. 따라서 이러한 학습된 그룹은 일반적으로 "버스트"로 학습되며, 각각의 그룹을 새로운 스킬로 볼 수 있습니다. 이 실험에서는 300M 샘플 이후의 모델을 AI 데이터의 생성기로 사용합니다. 그림 4에서는 단일 생성에 대해 예측된 scaling law를 검증하고, 생성된 데이터로만 훈련할 때 스킬의 'un-learning'과 혼합된 데이터로 훈련할 때 grokking 효과를 관찰합니다. 자세한 설명과 더 자세한 내용은 부록 G를 참조하세요.
**GCD를 학습하는 트랜스포머.** 이론을 "실제"로 처음 보여주는 예는 차트론(2023)에 따라 두 정수의 최대공약수(GCD)를 예측하는 수열-수열 트랜스포머 모델로, 두 정수의 최대공약수를 일부 기저(B)의 숫자 시퀀스로 인코딩하는 산술 작업입니다. 이 설정은 장난감 모델과 대규모 LLM 사이의 완벽한 중간 단계로, 트랜스포머 아키텍처와 훈련 알고리즘을 사용하여 상당한 규모의 모델에 대해 훈련하는 동시에 기본 데이터는 결정론적 특성을 가지고 있습니다. 모델은 훈련 과정에서 점진적으로 새로운 GCD를 학습하고, 이미 학습된 GCD와 함께 그 곱도 학습합니다. 따라서 이러한 학습된 그룹은 일반적으로 "버스트"로 학습되며, 각각의 그룹을 새로운 스킬로 볼 수 있습니다. 이 실험에서는 \(300M\) 샘플 이후의 모델을 AI 데이터의 생성기로 사용합니다. 그림 4에서는 단일 생성에 대해 예측된 스케일링 법칙을 검증하고, 생성된 데이터로만 훈련할 때 스킬의 '언러닝'과 혼합된 데이터로 훈련할 때 그로킹 효과를 관찰합니다. 자세한 설명과 더 자세한 내용은 부록 G를 참조하세요.