Figure 4: **Experimental Results (Details in Section 6). Left plot. The scaling law for finetuning Llama2–7B on the Wikitext-103 dataset. ’0-gen’ utilizes the original data, while subsequent generations use data generated by the previous model. Middle plot. Scaling law of the transformer model trained to predict GCD of two integers. Data is synthesized from a 0th generation model trained on \(300K\) samples. Note the tapered-off scaling of the model trained on synthesized data, as predicted by our theory. Right plot.” Skills” (bursts of new GCDs) learned by the GCD-transformer on original (bottom) and AI data (top).
그림 4: **실험 결과(섹션 6 참조). 왼쪽 플롯. Wikitext-103 데이터 세트에 대해 Llama2-7B를 Fine-tuning하기 위한 Scaling law. '0-gen'은 원본 데이터를 사용하고, 이후 세대는 이전 모델에서 생성된 데이터를 사용합니다. 가운데 플롯. 두 정수의 GCD를 예측하도록 훈련된 Transformer 모델의 Scaling law. 데이터는 \(300K\) 샘플에 대해 훈련된 0세대 모델에서 합성되었습니다. 이론에 의해 예측된 대로 합성 데이터에 대해 훈련된 모델의 스케일링이 점점 줄어드는 것을 주목하세요. 오른쪽 플롯."스킬"(새로운 GCD의 폭발)은 원본(아래쪽)과 AI 데이터(위쪽)에서 GCD-Transformer에 의해 학습되었습니다.
그림 4: **실험 결과(섹션 6 참조). 왼쪽 플롯. 위키텍스트-103 데이터 세트에 대해 Llama2-7B를 미세 조정하기 위한 스케일링 법칙. '0-gen'은 원본 데이터를 사용하고, 이후 세대는 이전 모델에서 생성된 데이터를 사용합니다. 가운데 플롯. 두 정수의 GCD를 예측하도록 훈련된 트랜스포머 모델의 스케일링 법칙. 데이터는 \(300K\) 샘플에 대해 훈련된 0세대 모델에서 합성되었습니다. 이론에 의해 예측된 대로 합성 데이터에 대해 훈련된 모델의 스케일링이 점점 줄어드는 것을 주목하세요. 오른쪽 플롯."스킬"(새로운 GCD의 폭발)은 원본(아래쪽)과 AI 데이터(위쪽)에서 GCD-트랜스포머에 의해 학습되었습니다.