A key hyper-parameter in the Cosine LRS is the step \(T\) at which Cosine decreases to the minimum for the first time. Typically, \(T\) is set to the total training step \(S\) for training with a predefined training step. Generally, it is believed that the learning rate should be high to enable sufficient exploration. For example, Kaplan et al. (2020) demonstrate that the loss decreases when the summed learning rate over the entire training increases (see Figure 23 in their paper). This indicates setting \(T<S\) is not optimal. On the other hand, Hoffmann et al. (2022) make a key observation that setting \(T>S\) results in dropped performance while setting \(S=T\) results in improved training efficiency, confirming that the learning rate shouldn't be kept high throughout the training. To reproduce these observations, we conduct experiments on the 0.036B model. We try \(Cosine(T)\) and \(CosineLoop(T)\) LRS, following the formula shown in Appendix B.1. The result can be seen in Figure 4. We can see that when the training step is \(S=20N,40N,60N,80N\), the lowest loss is always achieved by the \(Cosine(T)\) where \(T=S\). Both \(T<S\) and \(T>S\) are not optimal.
코사인 LRS의 주요 하이퍼파라미터는 Cosine이 최소값으로 감소하는 단계 \(T\)입니다. 일반적으로 \(T\)는 미리 정의된 훈련 단계로 훈련할 때 총 훈련 단계 \(S\)로 설정됩니다. 일반적으로 충분한 탐색을 위해 Learning Rate가 높아야 한다고 생각합니다. 예를 들어, Kaplan 등(2020)은 전체 훈련에 대한 Learning Rate 합계가 증가하면 Loss가 감소한다는 것을 보여주었습니다(논문의 그림 23 참조). 이는 \(T<S\)를 설정하는 것이 최적이 아님을 나타냅니다. 반면에 Hoffmann 등(2022)은 \(T>S\)를 설정하면 성능이 저하되는 반면, \(S=T\)를 설정하면 훈련 효율성이 향상된다는 핵심 관찰을 통해 Learning Rate를 훈련 내내 높게 유지해서는 안 된다는 것을 확인했습니다. 이러한 관찰을 재현하기 위해 0.036B 모델에 대한 실험을 수행했습니다. 부록 B.1에 표시된 공식에 따라 \(Cosine(T)\) 및 \(CosineLoop(T)\) LRS를 시도했습니다. 그 결과는 그림 4에서 확인할 수 있습니다. 훈련 단계가 \(S=20N,40N,60N,80N\)일 때, 항상 \(Cosine(T)\)에서 최저 Loss가 달성되며, 여기서 \(T=S\)입니다. \(T<S\)와 \(T>S\) 모두 최적이 아닙니다.
코사인 LRS의 주요 하이퍼파라미터는 코사인이 최소값으로 감소하는 단계 \(T\)입니다. 일반적으로 \(T\)는 미리 정의된 훈련 단계로 훈련할 때 총 훈련 단계 \(S\)로 설정됩니다. 일반적으로 충분한 탐색을 위해 학습 속도가 높아야 한다고 생각합니다. 예를 들어, Kaplan 등(2020)은 전체 훈련에 대한 학습률 합계가 증가하면 손실이 감소한다는 것을 보여주었습니다(논문의 그림 23 참조). 이는 \(T<S\)를 설정하는 것이 최적이 아님을 나타냅니다. 반면에 호프만 등(2022)은 \(T>S\)를 설정하면 성능이 저하되는 반면, \(S=T\)를 설정하면 훈련 효율성이 향상된다는 핵심 관찰을 통해 학습률을 훈련 내내 높게 유지해서는 안 된다는 것을 확인했습니다. 이러한 관찰을 재현하기 위해 0.036B 모델에 대한 실험을 수행했습니다. 부록 B.1에 표시된 공식에 따라 \(Cosine(T)\) 및 \(CosineLoop(T)\) LRS를 시도했습니다. 그 결과는 그림 4에서 확인할 수 있습니다. 훈련 단계가 \(S=20N,40N,60N,80N\)일 때, 항상 \(Cosine(T)\)에서 최저 손실이 달성되며, 여기서 \(T=S\)입니다. T<S$와 $T>S$ 모두 최적이 아닙니다.