One key assumption is made on the cosine cycle length and the corresponding learning rate drop (we use a \(10\times\) learning rate decay in line with Rae et al. (2022)). We find that setting the cosine cycle length too much longer than the target number of training steps results in sub-optimally trained models, as shown in Figure A1.
코사인 주기 길이와 그에 상응하는 Learning Rate 강하에 대한 한 가지 주요 가정이 있습니다(Rae et al. (2022)에 따라 Learning Rate 10배 감소를 사용합니다). 코사인 주기 길이를 목표 훈련 단계 수보다 너무 길게 설정하면 그림 A1과 같이 최적화되지 않은 모델이 생성되는 것을 확인했습니다.
코사인 주기 길이와 그에 상응하는 학습률 강하에 대한 한 가지 주요 가정이 있습니다(Rae et al. (2022)에 따라 학습률 10배 감소를 사용합니다). 코사인 주기 길이를 목표 훈련 단계 수보다 너무 길게 설정하면 그림 A1과 같이 최적화되지 않은 모델이 생성되는 것을 확인했습니다.