**Loss Decreases Dramatically in Decay Stage.** We try WSD LRS on 0.036B models. As shown in Figure 5, in the decay stage, as the learning rate begins to decrease, the loss experiences a significant rapid decline and quickly decreases to be equal to or lower than the Cosine LRS at step \(T=S\). At the same time, we can reuse the model before decay and continue training with the previous high learning rate. After more steps of training \(S^{\prime}\), we can also perform annealing to achieve the same loss as the Cosine LRS at \(Cosine(S^{\prime})\). This verifies our assumption that the training stage can be explicitly split into the stable training and decay stage.
**감쇠 단계에서 Loss가 급격히 감소합니다.** 0.036B 모델에 WSD LRS를 시도합니다. 그림 5에서 볼 수 있듯이, 감쇠 단계에서는 Learning Rate가 감소하기 시작하면 Loss가 크게 급격히 감소하여 Cosine LRS와 동일하거나 그보다 낮은 수준으로 빠르게 감소합니다. 동시에, 우리는 감쇠 전의 모델을 재사용하고 이전의 높은 Learning Rate로 훈련을 계속할 수 있습니다. 더 많은 단계의 훈련 \(S^{\prime}\) 후에, 우리는 어닐링을 수행하여 \(Cosine(S^{\prime})\)에서 Cosine LRS와 동일한 Loss를 달성할 수도 있습니다. 이는 훈련 단계를 안정적인 훈련 단계와 감쇠 단계로 명시적으로 분할할 수 있다는 가정을 검증합니다.
**감쇠 단계에서 손실이 급격히 감소합니다.** 0.036B 모델에 WSD LRS를 시도합니다. 그림 5에서 볼 수 있듯이, 감쇠 단계에서는 학습 속도가 감소하기 시작하면 손실이 크게 급격히 감소하여 Cosine LRS와 동일하거나 그보다 낮은 수준으로 빠르게 감소합니다. 동시에, 우리는 감쇠 전의 모델을 재사용하고 이전의 높은 학습 속도로 훈련을 계속할 수 있습니다. 더 많은 단계의 훈련 \(S^{\프라임}\) 후에, 우리는 어닐링을 수행하여 Cosine(S^{\프라임})\)에서 Cosine LRS와 동일한 손실을 달성할 수도 있습니다. 이는 훈련 단계를 안정적인 훈련 단계와 감쇠 단계로 명시적으로 분할할 수 있다는 가정을 검증합니다.