\begin{table}
\begin{tabular}{c|c c c|c c} \hline \hline Base & Accuracy & Correct GCD & Correct predictions \\ \hline
10 & 85 & 13 & \{1,2,4,8,16\} & \{1,5,25\} \\
420 & 97 & 38 & \{1,2,4,8,16\} & \{1,3,9\} & \{1,5,25\} \\
1000 & 94 & 22 & \{1,2,4,8,16\} & \{1,5,25\} & \{1,3\} \\
2017 & 85 & 4 & \{1,2\} & \{1,3\} & \\
2023 & 91 & 16 & \{1,2,4\} & \{1,3\} & \{1,7\} & \{1,17\} \\
4913 & 93 & 17 & \{1,2,4\} & \{1,3\} & \{1,5\} & \{1,17\} \\ \hline \hline \end{tabular}
\end{table}
Table 1: **Initial performances.**\(4\)-layer transformers trained to predict GCD, on 300 million examples. Our _test_ set only contains GCD up to \(100\), and accuracy is computed on a reweighted test with equal occurance of each GCD. Thus, the Correct GCD lists all those that can be formed from the correct predictions by forming products across the sets (within the first 100 GCD). We freeze the 0th generation model at this stage and use its prediction to generate synthetic data. For each GCD outside the set of its correct predictions, the model will predict the largest GCD it has learned that divides the ground truth.
\begin{table}
\begin{tabular}{c|c c c|c c} \hline \hline Base & Accuracy & Correct GCD & Correct predictions \\ \hline
10 & 85 & 13 & \{1,2,4,8,16\} & \{1,5,25\} \\
420 & 97 & 38 & \{1,2,4,8,16\} & \{1,3,9\} & \{1,5,25\} \\
1000 & 94 & 22 & \{1,2,4,8,16\} & \{1,5,25\} & \{1,3\} \\
2017 & 85 & 4 & \{1,2\} & \{1,3\} & \\
2023 & 91 & 16 & \{1,2,4\} & \{1,3\} & \{1,7\} & \{1,17\} \\
4913 & 93 & 17 & \{1,2,4\} & \{1,3\} & \{1,5\} & \{1,17\} \\ \hline \hline \end{tabular}
\end{table}
표 1: **초기 성능.** 3억 개의 예제에서 GCD를 예측하도록 훈련된 \(4\) 레이어 Transformer. 테스트 세트에는 최대 \(100\)의 GCD만 포함되며, 정확도는 각 GCD가 동일하게 발생하는 재가중치 테스트에서 계산됩니다. 따라서 Correct GCD 목록은 집합에서 제품을 형성하여(첫 번째 100개의 GCD 내에서) 정답을 형성할 수 있는 모든 것을 나열합니다. 이 단계에서 0세대 모델을 동결하고 그 예측을 사용하여 합성 데이터를 생성합니다. 정답 예측 집합 외부의 각 GCD에 대해 모델은 실측값을 나누는 학습된 가장 큰 GCD를 예측합니다.
\begin{table}
\begin{tabular}{c|c c c|c c} \hline \hline Base & Accuracy & Correct GCD & Correct predictions \\ \hline
10 & 85 & 13 & \{1,2,4,8,16\} & \{1,5,25\} \\
420 & 97 & 38 & \{1,2,4,8,16\} & \{1,3,9\} & \{1,5,25\} \\
1000 & 94 & 22 & \{1,2,4,8,16\} & \{1,5,25\} & \{1,3\} \\
2017 & 85 & 4 & \{1,2\} & \{1,3\} & \\
2023 & 91 & 16 & \{1,2,4\} & \{1,3\} & \{1,7\} & \{1,17\} \\
4913 & 93 & 17 & \{1,2,4\} & \{1,3\} & \{1,5\} & \{1,17\} \\ \hline \hline \end{tabular}
\end{table}
표 1: **초기 성능.** 3억 개의 예제에서 GCD를 예측하도록 훈련된 \(4\) 레이어 트랜스포머. 테스트 세트에는 최대 \(100\)의 GCD만 포함되며, 정확도는 각 GCD가 동일하게 발생하는 재가중치 테스트에서 계산됩니다. 따라서 정답 GCD 목록은 집합에서 제품을 형성하여(첫 번째 100개의 GCD 내에서) 정답을 형성할 수 있는 모든 것을 나열합니다. 이 단계에서 0세대 모델을 동결하고 그 예측을 사용하여 합성 데이터를 생성합니다. 정답 예측 집합 외부의 각 GCD에 대해 모델은 실측값을 나누는 학습된 가장 큰 GCD를 예측합니다.