Assuming a true distribution as in Equation (1), consider training a model on a dataset of size \(T\) of AI data-generated data. The synthesized data amounts to a version of the true data distribution with the tail cut at some finite rank \(k\) or the tail narrowed to a smaller exponent. Our main findings are as follows.
진짜 분포가 식 (1)과 같다고 가정하고, AI 데이터 생성 데이터의 크기 \(T\)인 데이터셋에서 모델을 훈련시키는 것을 고려해보자. 합성된 데이터는 꼬리가 어떤 유한한 순위 \(k\)에서 잘리거나 꼬리가 더 작은 지수로 좁혀진 진짜 데이터 분포의 버전에 해당한다. 우리의 주요 발견은 다음과 같다.
방정식 (1)과 같은 실제 분포를 가정하고, AI가 생성한 데이터의 \(T\) 크기 데이터 집합에 대한 모델을 훈련하는 것을 고려합니다. 합성된 데이터는 꼬리가 유한 순위 \(k\)에서 잘리거나 꼬리가 더 작은 지수로 좁혀진 실제 데이터 분포의 버전에 해당합니다. 주요 연구 결과는 다음과 같습니다.