In light of the above perspective, we propose to explicitly divide the training stage into the high learning rate stage and learning rate decay stage. We name it as the Warmup-Stable-Decay (WSD) LRS. Especially, the WSD LRS contains three stages: the warmup stage (whose end step is denoted by \(W\)), the stable training stage (whose end step is denoted by \(T\)), and the remaining decay stage.
위의 관점에 비추어 볼 때, 우리는 훈련 단계를 높은 Learning Rate 단계와 Learning Rate decay 단계로 명시적으로 나누는 것을 제안합니다. 이를 Warmup-Stable-Decay (WSD) LRS라고 합니다. 특히 WSD LRS는 warmup 단계(마지막 단계는 \(W\)로 표시됨), 안정 훈련 단계(마지막 단계는 \(T\)로 표시됨), 나머지 decay 단계의 세 단계로 구성됩니다.
위의 관점에 비추어 볼 때, 우리는 훈련 단계를 높은 학습 속도 단계와 학습 속도 감소 단계로 명시적으로 나누는 것을 제안합니다. 이를 워밍업-안정-감소(WSD) LRS라고 합니다. 특히 WSD LRS는 워밍업 단계(마지막 단계는 \(W\)로 표시됨), 안정 훈련 단계(마지막 단계는 \(T\)로 표시됨), 나머지 감소 단계의 세 단계로 구성됩니다.