Figure 19: **S-shape “Smoothed Grokking”.** Bigram data with Hutter++ model, mixing clean data with AI generated data with ratio 50 to 50. The grokking line is smoothed in the probabilistic setting. Line 1, 2, 3 are generated by using 10,000, 1,000, and 100 data to train the generating model. Compared to Figure 17, we do not limit the number of accessible real data now. \(\beta=3/2\).
그림 19: **S자형 "Smoothed Grokking".** 깨끗한 데이터와 AI 생성 데이터를 50 대 50의 비율로 혼합한 Hutter++ 모델의 bigram 데이터. Grokking 라인은 확률적 설정에서 부드러워집니다. 선 1, 2, 3은 10,000, 1,000, 100개의 데이터를 사용하여 생성 모델을 훈련하여 생성되었습니다. 그림 17과 비교하여 이제 액세스 가능한 실제 데이터의 수를 제한하지 않습니다. \(\beta=3/2\).
그림 19: **S자형 "스무딩 그로킹".** 깨끗한 데이터와 AI 생성 데이터를 50 대 50의 비율로 혼합한 Hutter++ 모델의 이그램 데이터. 그로킹 라인은 확률적 설정에서 부드러워집니다. 선 1, 2, 3은 10,000, 1,000, 100개의 데이터를 사용하여 생성 모델을 훈련하여 생성되었습니다. 그림 17과 비교하여 이제 액세스 가능한 실제 데이터의 수를 제한하지 않습니다. \(\베타=3/2\).