Figure 8: **Infinite learning rate schedules v.s. Cosine decay. We train a 405M parameter model on 300B tokens of SlimPajama from random initialization with two new schedules, _Cosine Inf_ and _InvSgrt Inf_, and compare them to the cosine decay baseline. _Cosine Inf_ and _InvSgrt Inf_ first decay to a fixed constant LR value and stay constant thereafter until an abrupt final decay. These schedules, therefore, have the advantage that they can smoothly transition between one pre-training phase and the next without re-warming.
그림 8: **무한 Learning Rate 일정 대 Cosine decay. 무작위 초기화로부터 300B 토큰의 SlimPajama에 대해 405M 파라미터 모델을 훈련하고 두 가지 새로운 스케줄인 _Cosine Inf_ 및 _InvSgrt Inf_를 사용하여 Cosine decay 기준선과 비교합니다. _Cosine Inf_와 _InvSgrt Inf_는 먼저 고정된 상수 Learning Rate 값으로 감소한 후 갑작스러운 최종 감소가 있을 때까지 그 이후에는 일정하게 유지됩니다. 따라서 이러한 스케줄은 재가열 없이도 사전 학습 단계와 다음 단계 사이를 원활하게 전환할 수 있다는 장점이 있습니다.
그림 8: **무한 학습 속도 일정 대 코사인 감쇠. 무작위 초기화로부터 300B 토큰의 슬림파자마에 대해 405M 파라미터 모델을 훈련하고 두 가지 새로운 스케줄인 _Cosine Inf_ 및 _InvSgrt Inf_를 사용하여 코사인 감쇠 기준선과 비교합니다. 코사인 인프_와 _인버스 인프_는 먼저 고정된 상수 LR 값으로 감소한 후 갑작스러운 최종 감소가 있을 때까지 그 이후에는 일정하게 유지됩니다. 따라서 이러한 스케줄은 재가열 없이도 사전 학습 단계와 다음 단계 사이를 원활하게 전환할 수 있다는 장점이 있습니다.