Thus, we explore "Infinite Learning rate schedules" (Zhai et al., 2022) which keep the learning rate at a constant value across all new tasks. This can help prevent forgetting by avoiding re-warming the learning on new tasks. Additionally, this schedule is independent of the total number of tokens making it more suitable for continual learning setups compared to repeating the cosine decay schedule cyclically for each new dataset. As we saw, since a high constant learning rate is also suboptimal, we opt to perform a fast annealing of the learning rate at the end of pre-training, over a limited amount of tokens. We hope that this will recover the performance advantage of re-decaying the learning rate, while allowing the use of a pre-annealing checkpoint when continuing to pre-train.
따라서, 우리는 모든 새로운 작업에서 Learning Rate를 일정한 값으로 유지하는 "Infinite Learning Rate schedules"(Zhai et al., 2022)을 탐구합니다. 이는 새로운 작업에서 학습을 다시 시작하는 것을 방지하여 잊어버림을 방지하는 데 도움이 될 수 있습니다. 또한, 이 schedule은 토큰의 총 개수와 무관하기 때문에 각 새 데이터 세트에 대해 cosine decay schedule을 주기적으로 반복하는 것보다 지속 학습 설정에 더 적합합니다. 앞서 살펴봤듯이 높은 상수 Learning Rate도 최적이 아니므로, 사전 학습이 끝날 때 제한된 양의 토큰에 대해 Learning Rate를 빠르게 annealing하는 것을 선택합니다. 이를 통해 Learning Rate를 다시 감소시키는 성능 이점을 회복하는 동시에 사전 annealing checkpoint를 사용하여 사전 학습을 계속할 수 있기를 바랍니다.
따라서, 우리는 모든 새로운 작업에서 학습 속도를 일정한 값으로 유지하는 "무한 학습 속도 스케줄"(Zhai et al., 2022)을 탐구합니다. 이는 새로운 작업에서 학습을 다시 시작하는 것을 방지하여 잊어버림을 방지하는 데 도움이 될 수 있습니다. 또한, 이 스케줄은 토큰의 총 개수와 무관하기 때문에 각 새 데이터 세트에 대해 코사인 감쇠 스케줄을 주기적으로 반복하는 것보다 지속 학습 설정에 더 적합합니다. 앞서 살펴봤듯이 높은 상수 학습 속도도 최적이 아니므로, 사전 학습이 끝날 때 제한된 양의 토큰에 대해 학습 속도를 빠르게 어닐링하는 것을 선택합니다. 이를 통해 학습 속도를 다시 감소시키는 성능 이점을 회복하는 동시에 사전 어닐링 체크포인트를 사용하여 사전 학습을 계속할 수 있기를 바랍니다.