**Decay Stage.** We use a mixture of the pretraining data and high-quality SFT data. For the specific annealing form of the WSD scheduler, we employ exponential annealing, i.e. \(f(s-T)=\times 0.5^{(s-S)/T}\), in which \(T\) is set to be 5000 steps (20B tokens).
**Decay Stage.** 우리는 사전 학습 데이터와 고품질 SFT 데이터를 혼합하여 사용합니다. WSD 스케줄러의 특정 어닐링 형태에 대해서는 지수 어닐링을 사용합니다. 즉, \(f(s-T)=\times 0.5^{(s-S)/T}\)이며, 여기서 \(T\)는 5000 스텝(20B 토큰)으로 설정됩니다.
**부패 단계.** 우리는 사전 학습 데이터와 고품질 SFT 데이터의 혼합물을 사용합니다. WSD 스케줄러의 특정 어닐링 형태의 경우, 지수 어닐링, 즉 \(f(s-T)=\times 0.5^{(s-S)/T}\), 여기서 \(T\)는 5000단계(20B 토큰)로 설정됩니다.