**Summary of Main Contributions.** We present a high-level summary of our main theoretical contributions, some of which are highlighted in Figure 3. We empirically verify these theoretical predictions (see Figure 4): (1) in large-scale experiments on an LLM, fine-tuning Llama2-7B (Touvron et al., 2023) on an approximately \(2M\) sample dataset from Wikitext-103 and (2) for transformer models trained to predict the greatest common divisor (Charton, 2023).
**주요 기여도 요약.** 그림 3에 일부 주요 이론적 기여를 높은 수준으로 요약하여 제시합니다. 이러한 이론적 예측을 실증적으로 검증합니다(그림 4 참조): (1) Wikitext-103의 약 \(2M\) 샘플 데이터 세트에 대해 Llama2-7B(Touvron et al., 2023)를 Fine-tuning하는 대규모 실험에서 (2) Transformer 모델이 최대공약수를 예측하도록 훈련된 경우(Charton, 2023).
**주요 기여도 요약.** 그림 3에 일부 주요 이론적 기여를 높은 수준으로 요약하여 제시합니다. 이러한 이론적 예측을 실증적으로 검증합니다(그림 4 참조): (1) 빅스텍스트-103의 약 2M 샘플 데이터 세트에 대해 Llama2-7B(Touvron et al., 2023)를 미세 조정하는 대규모 실험에서 트랜스포머 모델이 최대공약수를 예측하도록 훈련된 경우(Charton, 2023).