In this subsection, we investigate the use of learning rate schedules that intrinsically may not require re-warming. The motivations are twofold. On the one hand, a cosine decay schedule requires us to know the total number of tokens we want to pre-train on in advance. This limits the ability to continue to pre-train a converged checkpoint. On the other hand, we saw in the previous section that when continuing to pre-train a model that was initially pre-trained with a cosine decay schedule ending with a small learning rate, re-warming the learning rate from its minimum value is needed to best adapt to the new dataset. However, as seen in the previous subsection, we observe that re-warming the learning rate can exacerbate forgetting.
이 하위 섹션에서는 본질적으로 re-warming이 필요하지 않을 수 있는 Learning Rate 일정의 사용을 조사합니다. 그 동기는 두 가지입니다. 한편으로 cosine decay 일정을 사용하면 사전 학습하려는 총 토큰 수를 미리 알아야 합니다. 이는 수렴된 체크포인트를 계속 사전 학습할 수 있는 능력을 제한합니다. 반면, 이전 섹션에서 처음에 작은 Learning Rate로 끝나는 cosine decay 일정으로 사전 학습한 모델을 계속 사전 학습할 때, 새로운 데이터 세트에 가장 잘 적응하려면 최소값에서 Learning Rate를 다시 가열해야 한다는 것을 확인했습니다. 그러나 이전 하위 섹션에서 볼 수 있듯이 Learning Rate를 다시 가열하면 잊어버림이 악화될 수 있습니다.
이 하위 섹션에서는 본질적으로 재가열이 필요하지 않을 수 있는 학습 속도 일정의 사용을 조사합니다. 그 동기는 두 가지입니다. 한편으로 코사인 감소 일정을 사용하면 사전 학습하려는 총 토큰 수를 미리 알아야 합니다. 이는 수렴된 체크포인트를 계속 사전 학습할 수 있는 능력을 제한합니다. 반면, 이전 섹션에서 처음에 작은 학습률로 끝나는 코사인 감소 일정으로 사전 학습한 모델을 계속 사전 학습할 때, 새로운 데이터 세트에 가장 잘 적응하려면 최소값에서 학습률을 다시 가열해야 한다는 것을 확인했습니다. 그러나 이전 하위 섹션에서 볼 수 있듯이 학습률을 다시 가열하면 잊어버림이 악화될 수 있습니다.