**SFT Stage.** We find it still necessary to conduct a separate SFT phase. We utilize SFT data similar to the annealing phase excluding pre-training data and train with approximately 6 billion tokens. The learning rate for SFT is aligned with the one at the end of annealing, and a WSD Scheduler with exponential decay is also employed.
**SFT 단계.** 별도의 SFT 단계를 수행해야 한다고 생각합니다. 사전 학습 데이터를 제외하고 어닐링 단계와 유사한 SFT 데이터를 활용하고 약 60억 토큰으로 학습합니다. SFT의 Learning Rate는 어닐링이 끝날 때의 Learning Rate와 일치하며, 지수 함수 감소가 있는 WSD Scheduler도 사용합니다.
**SFT 단계.** 별도의 SFT 단계를 수행해야 한다고 생각합니다. 사전 학습 데이터를 제외하고 어닐링 단계와 유사한 SFT 데이터를 활용하고 약 60억 토큰으로 학습합니다. SFT의 학습 속도는 어닐링이 끝날 때의 학습 속도와 일치하며, 지수 함수 감소가 있는 WSD 스케줄러도 사용합니다.