We hypothesize that the Cosine LR performs exceptionally well when \(T=S\) because of the following two reasons: (1) Cosine LRS with \(T=S\) has a longer duration of _high learning rate_ training compared to \(T<S\) and other LRS such as Linear LRS. This high learning rate might help the model find a better global optimum. (2) Cosine LRS with \(T=S\) has a more thorough learning rate decay phase compared to Cosine LRS with \(T>S\) and Constant LRS. This learning rate decay may involve unique training dynamics that enable the model to find a better local optimum.
우리는 다음 두 가지 이유로 인해 Cosine Learning Rate (LR)이 \(T=S\)일 때 매우 우수한 성능을 발휘한다고 가설을 세웁니다: (1) \(T=S\)인 Cosine Learning Rate Schedule (LRS)는 \(T<S\) 또는 Linear LRS와 같은 다른 LRS에 비해 _높은 Learning Rate_ 훈련 기간이 더 길다. 이 높은 Learning Rate는 모델이 더 나은 전역 최적값을 찾는 데 도움이 될 수 있습니다. (2) \(T=S\)인 Cosine LRS는 \(T>S\)인 Cosine LRS 및 Constant LRS에 비해 Learning Rate 감소 단계가 더 철저합니다. 이 Learning Rate 감소에는 모델이 더 나은 지역 최적값을 찾을 수 있는 고유한 훈련 동역학이 포함될 수 있습니다.
우리는 다음 두 가지 이유로 인해 Cosine LR이 \(T=S\)일 때 매우 우수한 성능을 발휘한다고 가설을 세웁니다: (1) \(T=S\)인 Cosine LRS는 \(T<S\) 또는 Linear LRS와 같은 다른 LRS에 비해 _높은 학습 속도_ 훈련 기간이 더 길다. 이 높은 학습 속도는 모델이 더 나은 전역 최적값을 찾는 데 도움이 될 수 있습니다. (2) T=S\)인 Cosine LRS는 \(T>S\)인 Cosine LRS 및 Constant LRS에 비해 학습 속도 감소 단계가 더 철저합니다. 이 학습 속도 감소에는 모델이 더 나은 지역 최적값을 찾을 수 있는 고유한 훈련 동역학이 포함될 수 있습니다.