In the context of continual pre-training of LLMs, we have seen that learning rate re-warming and re-decaying is important for adaptation and found that the forgetting is easily mitigated with replay in this setting--at seemingly little cost to adaptation. Given their powerful ability to enhance adaptation and mitigate forgetting simultaneously, we proposed the simple and scalable combination of LR re-warming, LR re-decaying, and replay for continually pre-training LLMs at scale. We showed that these strategies enable continual pre-training to achieve average performance on par with expensively re-training from scratch on all data, across two distribution shifts (weak & strong) and two model scales (405M & 10B). Upon further analysis, we identified a pathology of LR re-warming and, inspired by previous work, proposed infinite learning rate schedules for continually pre-training LLMs. In initial experiments, our schedules achieve performance on par with cosine decay while circumventing the need for LR re-warming.
LLM의 지속적인 사전 학습의 경우, 적응을 위해 Learning Rate 재가열과 재감소가 중요하다는 것을 확인했으며, 이 설정에서 재생을 통해 잊어버림을 쉽게 완화할 수 있음을 발견했습니다. 적응을 향상시키고 잊어버림을 동시에 완화하는 강력한 능력을 바탕으로, 저희는 대규모 LLM을 지속적으로 사전 학습하기 위해 간단하고 확장 가능한 Learning Rate 재가열, Learning Rate 재감소, 재생의 조합을 제안했습니다. 이러한 전략을 통해 지속적인 사전 학습이 두 가지 분포 변화(약한 변화와 강한 변화)와 두 가지 모델 규모(405M 및 10B)에 걸쳐 모든 데이터에서 처음부터 다시 학습하는 것과 비슷한 평균 성능을 달성할 수 있음을 보여주었습니다. 추가 분석 결과, Learning Rate 재가열의 병리를 확인하고 이전 연구에서 영감을 받아 LLM을 지속적으로 사전 학습하기 위한 무한 Learning Rate 일정을 제안했습니다. 초기 실험에서 우리의 일정은 코사인 감소와 동등한 성능을 달성하면서 Learning Rate 재가열의 필요성을 피할 수 있습니다.
LLM의 지속적인 사전 학습의 경우, 적응을 위해 학습 속도 재가열과 재감소가 중요하다는 것을 확인했으며, 이 설정에서 재생을 통해 잊어버림을 쉽게 완화할 수 있음을 발견했습니다. 적응을 향상시키고 잊어버림을 동시에 완화하는 강력한 능력을 바탕으로, 저희는 대규모 LLM을 지속적으로 사전 학습하기 위해 간단하고 확장 가능한 LR 재가열, LR 재감소, 재생의 조합을 제안했습니다. 이러한 전략을 통해 지속적인 사전 학습이 두 가지 분포 변화(약한 변화와 강한 변화)와 두 가지 모델 규모(405M 및 10B)에 걸쳐 모든 데이터에서 처음부터 다시 학습하는 것과 비슷한 평균 성능을 달성할 수 있음을 보여주었습니다. 추가 분석 결과, LR 재가열의 병리를 확인하고 이전 연구에서 영감을 받아 LLM을 지속적으로 사전 학습하기 위한 무한 학습 속도 일정을 제안했습니다. 초기 실험에서 우리의 일정은 코사인 감소와 동등한 성능을 달성하면서 LR 재가열의 필요성을 피할 수 있습니다.