We now study mixing of clean and synthesized data in the bigram setting. Figures 17 and 18 add top-p tail-cutting when synthesizing, and start with \(T_{0}=10,000\) original data samples, which are successively blended with synthesized data from the largest model. Note that in this setting we observe a reversion of scaling laws with increased AI data. This needs to be compared with the orange curve in Figure 20 in the deterministic Hutter setting. The probabilistic nature of the bigram models leads to a new effect here.
이제 bigram 설정에서 깨끗한 데이터와 합성된 데이터의 혼합을 연구합니다. 그림 17과 18은 합성할 때 top-p tail-cutting을 추가하고, 가장 큰 모델에서 합성된 데이터와 연속적으로 혼합되는 \(T_{0}=10,000\) 개의 원본 데이터 샘플로 시작합니다. 이 설정에서는 AI 데이터가 증가함에 따라 scaling laws가 역전되는 현상을 관찰할 수 있습니다. 이는 결정론적 Hutter 설정의 그림 20의 주황색 곡선과 비교해야 합니다. bigram 모델의 확률적 특성으로 인해 여기서 새로운 효과가 나타납니다.
이제 빅램 설정에서 깨끗한 데이터와 합성된 데이터의 혼합을 연구합니다. 그림 17과 18은 합성할 때 상위 p 꼬리 절단을 추가하고, 가장 큰 모델에서 합성된 데이터와 연속적으로 혼합되는 \(T_{0}=10,000\) 개의 원본 데이터 샘플로 시작합니다. 이 설정에서는 AI 데이터가 증가함에 따라 스케일링 법칙이 역전되는 현상을 관찰할 수 있습니다. 이는 결정론적 허터 설정의 그림 20의 주황색 곡선과 비교해야 합니다. 빅램 모델의 확률적 특성으로 인해 여기서 새로운 효과가 나타납니다.