Figure 8: Gradient statistics over the training of a 0.2B model using WSD LRS. The exponential decay stage begins at 8000 steps.
Figure 8: WSD LRS를 사용하여 0.2B 모델을 훈련하는 동안의 그래디언트 통계. 지수 감쇠 단계는 8000 스텝에서 시작됩니다.
그림 8: WSD LRS를 사용하여 0.2B 모델을 훈련하는 동안의 기울기 통계. 지수 감소 단계는 8000단계에서 시작됩니다.