Figure 2: **Tails of AI-generated data: Top.** Perplexity diagram of the Wikitext-103 test set, measured with Llama2–7B as the anchor model. We query the Wikitext-finetuned Llama2–7B to generate AI data, which is compared to the original set. Perplexity is calculated solely for the generated positions in both the AI and original datasets. AI data is generated for various settings of \((p,T)\). **Bottom.** Distribution of greatest common divisors (GCD) of pairs of random integers (original data (blue) scaling as \(p(GCD=k)\propto k^{-2}\)). A transformer is trained on this task on \(300M\) samples and used as a generator on a test set of randomly sampled integer pairs, giving the truncated GCD distribution.
그림 2: **AI 생성 데이터의 꼬리: 상단.** 앵커 모델로 Llama2-7B를 사용하여 측정한 Wikitext-103 테스트 세트의 Perplexity 다이어그램. Wikitext-finetuned Llama2-7B를 쿼리하여 AI 데이터를 생성하고 이를 원본 세트와 비교합니다. Perplexity는 AI 데이터 세트와 원본 데이터 세트 모두에서 생성된 위치에 대해서만 계산됩니다. AI 데이터는 다양한 \((p,T)\) 설정에 대해 생성됩니다. **하단.** 임의의 정수 쌍의 최대공약수(GCD) 분포(원본 데이터(파란색) \(p(GCD=k)\propto k^{-2}\))의 분포. Transformer는 이 작업에 대해 \(300M\) 샘플에서 학습되고 무작위로 샘플링된 정수 쌍의 테스트 세트에서 생성기로 사용되어 잘린 GCD 분포를 제공합니다.
그림 2: **AI 생성 데이터의 꼬리: 상단.** 앵커 모델로 Llama2-7B를 사용하여 측정한 Wikitext-103 테스트 세트의 난해도 다이어그램. Wikitext-파인튜닝된 Llama2-7B를 쿼리하여 AI 데이터를 생성하고 이를 원본 세트와 비교합니다. 난해도는 AI 데이터 세트와 원본 데이터 세트 모두에서 생성된 위치에 대해서만 계산됩니다. AI 데이터는 다양한 \((p,T)\) 설정에 대해 생성됩니다. **하단.** 임의의 정수 쌍의 최대공약수(GCD) 분포(원본 데이터(파란색) \(p(GCD=k)\propto k^{-2}\))의 분포. 트랜스포머는 이 작업에 대해 \(300M\) 샘플에서 학습되고 무작위로 샘플링된 정수 쌍의 테스트 세트에서 생성기로 사용되어 잘린 GCD 분포를 제공합니다.