We observe that all schedules perform relatively similarly, however, the two infinite schedules have the advantage that we can start annealing at any time during the constant learning rate phase on each split, while the repeated cosine decays require knowing the number of tokens in advance. Additionally, we see negligible forgetting across dataset boundaries for the infinite LR schedules. While the losses initially increase sharply due to re-initializing the optimizer states, the infinite schedules models immediately recover from this.
모든 스케줄이 비교적 유사하게 작동하는 것을 관찰할 수 있지만, 두 가지 무한 스케줄은 반복 코사인 감소가 미리 토큰 수를 알아야 하는 반면, 각 스플릿의 일정한 Learning Rate 단계에서 언제든지 어닐링을 시작할 수 있다는 장점이 있습니다. 또한 무한 Learning Rate 스케줄의 경우 데이터 세트 경계에 걸쳐 무시할 수 있는 잊어버림을 확인할 수 있습니다. Optimizer 상태를 다시 초기화하기 때문에 처음에 Loss가 급격히 증가하지만, 무한 스케줄 모델은 이로부터 즉시 회복합니다.
모든 스케줄이 비교적 유사하게 작동하는 것을 관찰할 수 있지만, 두 가지 무한 스케줄은 반복 코사인 감소가 미리 토큰 수를 알아야 하는 반면, 각 스플릿의 일정한 학습 속도 단계에서 언제든지 어닐링을 시작할 수 있다는 장점이 있습니다. 또한 무한 LR 스케줄의 경우 데이터 세트 경계에 걸쳐 무시할 수 있는 잊어버림을 확인할 수 있습니다. 최적화 상태를 다시 초기화하기 때문에 처음에 손실이 급격히 증가하지만, 무한 스케줄 모델은 이로부터 즉시 회복합니다.