**Experiments on LLMs.** We finetune Llama2 with LoRA, generating synthetic AI data for the next finetuning iteration. Inspired by the setup in Shumailov et al. (2023), we use Wikidata-103, partitioned into approximately \(2.2\) million sequences of 128 tokens. AI data is generated through prompt completion, using the first 96 tokens from the original sequences as prompts. The model is trained only on the last 32 tokens to preclude information leakage, i.e. the model being trained on the ground truth of the same 32 tokens. The evaluations are conducted exclusively on the same 32 tokens. We use top-p 0.9 and temperature 0.9 across all generation. The results, depicted in Figure 4 (left), illustrate a scaling law decay over several generations. The first generated dataset still contain useful but limited information and the utility of the second generation's data markedly diminishes. These phenomena corroborate the anticipated loss of scaling law and model collapse, further indicating that model collapse is even more pronounced here, highlighting the challenges in training next generation LLMs. More details and results in Appendix H.
**LLM에 대한 실험.** 우리는 LoRA로 Llama2를 Fine-tuning하여 다음 Fine-tuning 반복을 위한 합성 AI 데이터를 생성합니다. Shumailov 등(2023)의 설정에서 영감을 받아 약 220만 개의 128 토큰 시퀀스로 분할된 Wikidata-103을 사용합니다. AI 데이터는 원래 시퀀스의 처음 96개 토큰을 프롬프트로 사용하여 프롬프트 완료를 통해 생성됩니다. 정보 유출, 즉 동일한 32개 토큰의 실측 데이터에 대해 학습되는 모델을 배제하기 위해 마지막 32개 토큰에 대해서만 모델을 학습합니다. 평가는 동일한 32개 토큰에 대해서만 수행됩니다. 모든 생성에 걸쳐 top-p 0.9 및 temperature 0.9를 사용합니다. 그림 4(왼쪽)에 표시된 결과는 여러 세대에 걸쳐 Scaling law 감소를 보여줍니다. 첫 번째 생성된 데이터 세트에는 여전히 유용하지만 제한된 정보가 포함되어 있으며, 두 번째 세대 데이터의 유용성은 현저히 감소합니다. 이러한 현상은 예상되는 Scaling law 손실과 모델 붕괴를 확증하며, 모델 붕괴가 여기서 더욱 두드러지게 나타나 차세대 LLM을 훈련하는 데 있어 어려움을 강조합니다. 자세한 내용과 결과는 부록 H에서 확인할 수 있습니다.
**LLM에 대한 실험.** 우리는 LoRA로 Llama2를 미세 조정하여 다음 미세 조정 반복을 위한 합성 AI 데이터를 생성합니다. Shumailov 등(2023)의 설정에서 영감을 받아 약 220만 개의 128 토큰 시퀀스로 분할된 위키데이터-103을 사용합니다. AI 데이터는 원래 시퀀스의 처음 96개 토큰을 프롬프트로 사용하여 프롬프트 완료를 통해 생성됩니다. 정보 유출, 즉 동일한 32개 토큰의 실측 데이터에 대해 학습되는 모델을 배제하기 위해 마지막 32개 토큰에 대해서만 모델을 학습합니다. 평가는 동일한 32개 토큰에 대해서만 수행됩니다. 모든 생성에 걸쳐 최상위 0.9 및 온도 0.9를 사용합니다. 그림 4(왼쪽)에 표시된 결과는 여러 세대에 걸쳐 스케일링 법칙 감소를 보여줍니다. 첫 번째 생성된 데이터 세트에는 여전히 유용하지만 제한된 정보가 포함되어 있으며, 두 번째 세대 데이터의 유용성은 현저히 감소합니다. 이러한 현상은 예상되는 스케일링 법칙 손실과 모델 붕괴를 확증하며, 모델 붕괴가 여기서 더욱 두드러지게 나타나 차세대 LLM을 훈련하는 데 있어 어려움을 강조합니다. 자세한 내용과 결과는 부록 H에서 확인할 수 있습니다.