In particular, after re-warming, models fail to recover quickly from the performance hit due to rewarming the learning rate even when training on the same dataset. This motivates finding alternatives to learning rate schedules requiring re-warming in order to improve the efficiency of continual pre-training.
특히, 재가열 후, 모델들은 동일한 데이터 세트에 대해 훈련하는 경우에도 Learning Rate를 재가열하기 때문에 성능 저하로부터 빠르게 회복하지 못한다. 이는 지속적인 사전 훈련의 효율성을 개선하기 위해 재가열이 필요한 Learning Rate 일정의 대안을 찾아야 한다는 동기를 부여한다.
특히, 재가열 후, 모델들은 동일한 데이터 세트에 대해 훈련하는 경우에도 학습 속도를 재가열하기 때문에 성능 저하로부터 빠르게 회복하지 못한다. 이는 지속적인 사전 훈련의 효율성을 개선하기 위해 재가열이 필요한 학습 속도 일정의 대안을 찾아야 한다는 동기를 부여한다.