As mentioned in Section 3, AI synthesized data is helpful in the regime where real data is scarce. Once more of real data becomes available the model grokks for a while and then forgets the AI synthesized data to recover the normal scaling law w.r.t \(T_{real}\). Figure 20 gives an illustration of this phenomenon in various settings.
3절에서 언급했듯이, AI 합성 데이터는 실제 데이터가 부족한 환경에서 유용합니다. 실제 데이터가 더 많이 확보되면 모델이 잠시 동안 이해했다가 AI 합성 데이터를 잊어버리고 \(T_{real}\)에 대한 정상적인 scaling law를 회복합니다. 그림 20은 다양한 설정에서 이러한 현상을 보여줍니다.
3절에서 언급했듯이, AI 합성 데이터는 실제 데이터가 부족한 환경에서 유용합니다. 실제 데이터가 더 많이 확보되면 모델이 잠시 동안 이해했다가 AI 합성 데이터를 잊어버리고 \(T_{real}\)에 대한 정상적인 스케일링 법칙을 회복합니다. 그림 20은 다양한 설정에서 이러한 현상을 보여줍니다.