**10% Steps are Enough.** From the two stage training perspective, shortening the decay stage will greatly benefit the fast test of different model checkpoints of stable training. Therefore, we conduct experiments that start from the same stable training checkpoints and have different decay steps. Also shown in Figure 5, among all three stable training checkpoints in 40N, 60N, and 80N training data, having a decay of 10% of the total tokens is sufficient to achieve the best results, while a decay of 2.5% of total tokens falls short. Therefore, in the subsequent training experiments, we use a decay of about 10% to ensure full convergence.
**10% Steps are Enough.** 두 단계 훈련 관점에서, decay 단계를 짧게 하면 안정적인 훈련의 다양한 모델 체크포인트를 빠르게 테스트하는 데 큰 도움이 됩니다. 따라서 동일한 안정적인 훈련 체크포인트에서 시작하여 decay 단계가 다른 실험을 수행합니다. 또한 그림 5에서 볼 수 있듯이 40N, 60N, 80N 훈련 데이터의 세 가지 안정적인 훈련 체크포인트 모두에서 전체 토큰의 10%의 decay만으로도 최상의 결과를 얻을 수 있으며, 전체 토큰의 2.5%의 decay는 부족합니다. 따라서 후속 훈련 실험에서는 완전한 수렴을 보장하기 위해 약 10%의 decay를 사용합니다.
**10% 단계가 충분합니다.** 두 단계 훈련 관점에서, 쇠퇴 단계를 짧게 하면 안정적인 훈련의 다양한 모델 체크포인트를 빠르게 테스트하는 데 큰 도움이 됩니다. 따라서 동일한 안정적인 훈련 체크포인트에서 시작하여 쇠퇴 단계가 다른 실험을 수행합니다. 또한 그림 5에서 볼 수 있듯이 40N, 60N, 80N 훈련 데이터의 세 가지 안정적인 훈련 체크포인트 모두에서 전체 토큰의 10%의 감소만으로도 최상의 결과를 얻을 수 있으며, 전체 토큰의 2.5%의 감소는 부족합니다. 따라서 후속 훈련 실험에서는 완전한 수렴을 보장하기 위해 약 10%의 감소를 사용합니다.