Charton (2023) trains sequence-to-sequence transformers to predict the greatest common divisor (GCD) of two positive integers, encoded as sequences of digits in some base \(B\). He observes that model predictions are deterministic: for any pair \((a,b)\) with GCD \(k\), the model predicts a single value \(f(k)\). Predictions are correct (i.e. \(f(k)=k\)) when the GCD is a product of divisors of the base, or of small primes. In all other case, the model prediction is the largest correct prediction (i.e. \(l\) such that \(f(l)=l\)) that divides \(k\). The list of correct predictions \(\mathcal{L}\) varies with the encoding base \(B\). For instance, for \(B=10\), after 300 million examples, the model correctly predicts \(\mathcal{L}=\{1,2,4,5,8,10,16,20,25,40,50,80,100...\}\), the GCD of \(20\) and \(30\) will be correctly predicted as \(10\), but the GCD of \(210\) and \(140\) will be incorrectly predicted as \(10\) (instead of \(70\)).
차톤(2023)은 일련의 sequence-to-sequence Transformers를 훈련하여 두 양의 정수의 최대공약수(GCD)를 예측하는데, 이는 일부 기저 \(B\)에서 숫자의 시퀀스로 인코딩됩니다. 그는 모델 예측이 결정론적이라는 것을 관찰합니다. 즉, GCD가 \(k\)인 모든 쌍 \((a,b)\)에 대해 모델은 단일 값 \(f(k)\)를 예측합니다. 예측은 GCD가 기저의 제수 또는 작은 소수의 곱인 경우 정확합니다(즉, \(f(k)=k\)). 다른 모든 경우 모델 예측은 \(k\)를 나누는 가장 큰 올바른 예측(즉, \(l\)이므로 \(f(l)=l\))입니다). 올바른 예측의 목록 \(\mathcal{L}\)은 인코딩 기저 \(B\)에 따라 달라집니다. 예를 들어, \(B=10\)의 경우 3억 개의 예제가 있을 때 모델은 \(\mathcal{L}=\{1,2,4,5,8,10,16,20,25,40,50,80,100...\}\), 20과 30의 GCD가 10으로 올바르게 예측되지만 210과 140의 GCD는 10(대신 \(70\))으로 잘못 예측됩니다.
차톤(2023)은 일련의 수열-수열 트랜스포머를 훈련하여 두 양의 정수의 최대공약수(GCD)를 예측하는데, 이는 일부 기저 \(B\)에서 숫자의 시퀀스로 인코딩됩니다. 그는 모델 예측이 결정론적이라는 것을 관찰합니다. 즉, GCD가 \(k\)인 모든 쌍 \((a,b)\)에 대해 모델은 단일 값 \(f(k)\)를 예측합니다. 예측은 GCD가 기저의 제수 또는 작은 소수의 곱인 경우 정확합니다(즉, \(f(k)=k\)). 다른 모든 경우 모델 예측은 \(k\)를 나누는 가장 큰 올바른 예측(즉, \(l\)이므로 \(f(l)=l\))입니다). 올바른 예측의 목록 \(\mathcal{L}\)은 인코딩 기저 \(B\)에 따라 달라집니다. 예를 들어, \(B=10\)의 경우 3억 개의 예제가 있을 때 모델은 \(\mathcal{L}=\{1,2,4,5,8,10,16,20,25,40,50,80,100...\}\), 20과 30의 GCD가 10으로 올바르게 예측되지만 210과 140의 GCD는 10(대신 \(70\))으로 잘못 예측됩니다.