Figure 17: **Empirical Hutter++ Model with Mixing.** The initial “clean” dataset comprises \(T_{0}=10,000\) samples. For future generations, the largest model is used to synthesize data. For \(T\leq 20,000\), training data is an equal mix of clean and generated data, for \(T>20,000\) all clean data is used; the remaining training data is synthetic (so the ratio of clean data diminishes). Top-p 0.9, no temperature scaling, \(\beta=3/2\).
그림 17: **혼합이 있는 경험적 Hutter++ Model.** 초기 "청정" 데이터 세트는 \(T_{0}=10,000\) 샘플로 구성됩니다. 향후 세대의 경우, 가장 큰 모델을 사용하여 데이터를 합성합니다. \(T\leq 20,000\)의 경우 학습 데이터는 정상 데이터와 생성된 데이터가 동일하게 혼합되고, \(T>20,000\)의 경우 모든 정상 데이터가 사용되며 나머지 학습 데이터는 합성 데이터이므로 정상 데이터의 비율이 감소합니다. Top-p 0.9, 온도 스케일링 없음, \(\beta=3/2\).
그림 17: **혼합이 있는 경험적 허터++ 모델.** 초기 "청정" 데이터 세트는 \(T_{0}=10,000\) 샘플로 구성됩니다. 향후 세대의 경우, 가장 큰 모델을 사용하여 데이터를 합성합니다. T\leq 20,000\)의 경우 학습 데이터는 정상 데이터와 생성된 데이터가 동일하게 혼합되고, \(T>20,000\)의 경우 모든 정상 데이터가 사용되며 나머지 학습 데이터는 합성 데이터이므로 정상 데이터의 비율이 감소합니다. 상위 p 0.9, 온도 스케일링 없음, \(\beta=3/2\).