The models used to generate the data were trained on about 300M examples, and correctly predict 22, 16 and 17 GCD below 100 for bases 1000, 2023 and 4913 respectively. We know (Table 3) that more training on AI-data data only will not improve those performances. On the other hand, we know that models trained on clean data will achieve larger performance. Specifically, out of 10 models trained on clean data, for base 1000, all 10 predict 23 GCD or more after 1.4B examples. The median number of examples needed for the models to predict 23 GCD or more is 465M. For base 2023, 7 models out of 10 predict 17 GCD or more after 2.1B examples. The median number of training samples after which the model bests a model trained on dirty data only is 530M. Finally, for base 4913, 9 clean models out of 10 predict more than 18 GCD after 1.7B examples. The median number of samples is 1.1B.
데이터를 생성하는 데 사용된 모델은 약 300M 개의 예제로 학습되었으며, 기본 1000, 2023, 4913에 대해 각각 100 미만의 22, 16, 17 GCD를 올바르게 예측합니다. AI-data 데이터에 대한 추가 학습만으로는 이러한 성능을 개선할 수 없다는 것을 알고 있습니다(표 3). 반면에 깨끗한 데이터로 학습된 모델이 더 큰 성능을 달성할 수 있다는 것을 알고 있습니다. 구체적으로, 깨끗한 데이터로 학습된 10개의 모델 중 기본 1000의 경우 10개 모두 1.4B 개의 예제를 거쳐 23개 이상의 GCD를 예측합니다. 모델이 23개 이상의 GCD를 예측하는 데 필요한 평균 예제 수는 465M 개입니다. 기본 2023의 경우 10개 모델 중 7개 모델이 2.1B 개의 예제를 거쳐 17개 이상의 GCD를 예측합니다. 모델이 오염된 데이터로만 학습된 모델보다 더 나은 성능을 발휘하는 훈련 샘플의 중앙값은 530M 개입니다. 마지막으로, 기본 4913의 경우 10개의 깨끗한 모델 중 9개 모델이 1.7B 개의 예제를 거쳐 18개 이상의 GCD를 예측합니다. 샘플의 중앙값은 1.1B 개입니다.
데이터를 생성하는 데 사용된 모델은 약 3억 개의 예제로 학습되었으며, 기본 1000, 2023, 4913에 대해 각각 100 미만의 22, 16, 17 GCD를 올바르게 예측합니다. AI-data 데이터에 대한 추가 학습만으로는 이러한 성능을 개선할 수 없다는 것을 알고 있습니다(표 3). 반면에 깨끗한 데이터로 학습된 모델이 더 큰 성능을 달성할 수 있다는 것을 알고 있습니다. 구체적으로, 깨끗한 데이터로 학습된 10개의 모델 중 기본 1000의 경우 10개 모두 1.4B 개의 예제를 거쳐 23개 이상의 GCD를 예측합니다. 모델이 23개 이상의 GCD를 예측하는 데 필요한 평균 예제 수는 4억 6,500만 개입니다. 기본 2023의 경우 10개 모델 중 7개 모델이 2.1B 개의 예제를 거쳐 17개 이상의 GCD를 예측합니다. 모델이 오염된 데이터로만 학습된 모델보다 더 나은 성능을 발휘하는 훈련 샘플의 중앙값은 5억 3천만 개입니다. 마지막으로, 기본 4913의 경우 10개의 깨끗한 모델 중 9개 모델이 1.7B 개의 예제를 거쳐 18개 이상의 GCD를 예측합니다. 샘플의 중앙값은 11억 개입니다.