Both Figures 3 (middle) and 12 illustrate the setting where each model consumes as much training data as its predecessor (\(T_{0}=T\)). We now relax the assumption that each successive model has strictly the same amount of training data as its predecessor. We assume that the generation 0 model is trained on \(T_{0}\) (here, \(T_{0}=100,000\)) amount of original data to generate AI data for generation 1. All future generations, starting from generation 2, are trained on data generated by the most powerful model from the previous generation (\(T=1,000,000\) data in this case). Figure 13 (for Hutter LLM) and 14 (for Hutter++ on paired bigram data) show the resulting scaling behavior. We take this setting even further by adding a top-p tail cutting mechanism and a temperature scaling mechanism for each synthetic data generation. Figure 6 cuts at \(p=0.95\) and Figure 16 at temperature \(0.9\).
그림 3(가운데)과 그림 12는 각 모델이 이전 모델만큼 많은 훈련 데이터를 소비하는 설정을 보여줍니다. 이제 각 연속 모델이 이전 모델과 엄격하게 동일한 양의 훈련 데이터를 가지고 있다는 가정을 완화합니다. 0세대 모델은 \(T_{0}\)(여기서는 \(T_{0}=100,000\))의 원본 데이터에 대해 학습되어 1세대의 AI 데이터를 생성한다고 가정합니다. 2세대부터 시작되는 모든 후속 세대는 이전 세대에서 가장 강력한 모델이 생성한 데이터에 대해 학습합니다(이 경우 \(T=1,000,000\) 데이터). 그림 13(Hutter LLM의 경우)과 14(페어링된 bigram 데이터에 대한 Hutter++의 경우)는 결과적인 scaling 동작을 보여줍니다. 각 합성 데이터 생성에 대해 상위 p 꼬리 절단 메커니즘과 온도 scaling 메커니즘을 추가하여 이 설정을 더욱 발전시켰습니다. 그림 6은 \(p=0.95\)에서, 그림 16은 온도 \(0.9\)에서 절단합니다.
그림 3(가운데)과 그림 12는 각 모델이 이전 모델만큼 많은 훈련 데이터를 소비하는 설정을 보여줍니다. 이제 각 연속 모델이 이전 모델과 엄격하게 동일한 양의 훈련 데이터를 가지고 있다는 가정을 완화합니다. 0세대 모델은 \(T_{0}\)(여기서는 \(T_{0}=100,000\))의 원본 데이터에 대해 학습되어 1세대의 AI 데이터를 생성한다고 가정합니다. 2세대부터 시작되는 모든 후속 세대는 이전 세대에서 가장 강력한 모델이 생성한 데이터에 대해 학습합니다(이 경우 \(T=1,000,000\) 데이터). 그림 13(Hutter LLM의 경우)과 14(페어링된 이그램 데이터에 대한 Hutter++의 경우)는 결과적인 스케일링 동작을 보여줍니다. 각 합성 데이터 생성에 대해 상위 p 꼬리 절단 메커니즘과 온도 스케일링 메커니즘을 추가하여 이 설정을 더욱 발전시켰습니다. 그림 6은 \(p=0.95\)에서, 그림 16은 온도 \(0.9\)에서 절단합니다.