Large language models (LLMs) are routinely pre-trained on billions of tokens, only to start the process over again once new data becomes available. A much more efficient solution is to continually pre-train these models - saving significant compute compared to re-training. However, the distribution shift induced by new data typically results in degraded performance on previous data or poor adaptation to the new data. In this work, we show that a simple and scalable combination of learning rate (LR) re-warming, LR re-decaying, and replay of previous data is sufficient to match the performance of fully re-training from scratch on all available data, as measured by the final loss and the average score on several language model (LM) evaluation benchmarks. Specifically, we show this for a weak but realistic distribution shift between two commonly used LLM pre-training datasets (English\(\rightarrow\)English) and a stronger distribution shift (English\(\rightarrow\)German) at the 405M parameter model scale with large dataset sizes (hundreds of billions of tokens). Selecting the weak but realistic shift for larger-scale experiments, we also find that our continual learning strategies match the re-training baseline for a 10B parameter LLM. Our results demonstrate that LLMs can be successfully updated via simple and scalable continual learning strategies, matching the re-training baseline using only a fraction of the compute. Finally, inspired by previous work, we propose alternatives to the cosine learning rate schedule that help circumvent forgetting induced by LR re-warming and that are not bound to a fixed token budget.
대규모 언어 모델(LLMs)은 수십억 개의 토큰에 대해 일상적으로 사전 학습을 거친 후 새로운 데이터를 사용할 수 있게 되면 이 과정을 다시 시작합니다. 훨씬 더 효율적인 솔루션은 이러한 모델을 지속적으로 사전 학습하는 것인데, 재학습에 비해 상당한 컴퓨팅 비용을 절감할 수 있습니다. 그러나 새로운 데이터에 의해 유발되는 분포 변화는 일반적으로 이전 데이터의 성능 저하 또는 새로운 데이터에 대한 적응력 저하로 이어집니다. 이 연구에서는 Learning Rate (LR) 재가열, LR 재감소, 이전 데이터 재생의 간단하고 확장 가능한 조합만으로도 최종 Loss와 여러 언어 모델(LM) 평가 벤치마크의 평균 점수로 측정한 모든 사용 가능한 데이터에 대해 처음부터 완전히 재학습하는 것과 동일한 성능을 달성할 수 있음을 보여 줍니다. 특히, 일반적으로 사용되는 두 개의 LLM 사전 학습 데이터 세트(English\(\rightarrow\)English) 사이의 약하지만 현실적인 분포 이동과 대규모 데이터 세트 크기(수천억 개의 토큰)를 가진 405M 파라미터 모델 규모의 더 강력한 분포 이동(English\(\rightarrow\)German)에 대해 이를 보여 줍니다. 더 큰 규모의 실험을 위해 약하지만 현실적인 시프트를 선택한 결과, 우리는 또한 우리의 지속 학습 전략이 100억 파라미터 LLM의 경우 재학습 기준과 일치한다는 것을 발견했습니다. 이 결과는 간단하고 확장 가능한 지속 학습 전략을 통해 LLM을 성공적으로 업데이트할 수 있으며, 컴퓨팅의 일부만 사용하여 재학습 기준에 부합한다는 것을 보여줍니다. 마지막으로, 이전 작업에서 영감을 받아 코사인 Learning Rate 일정에 대한 대안을 제안하여 LR 재가열로 인한 잊어버림을 피하고 고정된 토큰 예산에 얽매이지 않는 방법을 제안합니다.
대규모 언어 모델(LLM)은 수십억 개의 토큰에 대해 일상적으로 사전 학습을 거친 후 새로운 데이터를 사용할 수 있게 되면 이 과정을 다시 시작합니다. 훨씬 더 효율적인 솔루션은 이러한 모델을 지속적으로 사전 학습하는 것인데, 재학습에 비해 상당한 컴퓨팅 비용을 절감할 수 있습니다. 그러나 새로운 데이터에 의해 유발되는 분포 변화는 일반적으로 이전 데이터의 성능 저하 또는 새로운 데이터에 대한 적응력 저하로 이어집니다. 이 연구에서는 학습 속도(LR) 재가열, LR 재감소, 이전 데이터 재생의 간단하고 확장 가능한 조합만으로도 최종 손실과 여러 언어 모델(LM) 평가 벤치마크의 평균 점수로 측정한 모든 사용 가능한 데이터에 대해 처음부터 완전히 재학습하는 것과 동일한 성능을 달성할 수 있음을 보여 줍니다. 특히, 일반적으로 사용되는 두 개의 LLM 사전 학습 데이터 세트(English\(\rightarrow\)English) 사이의 약하지만 현실적인 분포 이동과 대규모 데이터 세트 크기(수천억 개의 토큰)를 가진 405M 파라미터 모델 규모의 더 강력한 분포 이동(English\(\rightarrow\)German)에 대해 이를 보여 줍니다. 더 큰 규모의 실험을 위해 약하지만 현실적인 시프트를 선택한 결과, 우리는 또한 우리의 지속 학습 전략이 100억 파라미터 LLM의 경우 재학습 기준과 일치한다는 것을 발견했습니다. 이 결과는 간단하고 확장 가능한 지속 학습 전략을 통해 LLM을 성공적으로 업데이트할 수 있으며, 컴퓨팅의 일부만 사용하여 재학습 기준에 부합한다는 것을 보여줍니다. 마지막으로, 이전 작업에서 영감을 받아 코사인 학습 속도 일정에 대한 대안을 제안하여 LR 재가열로 인한 잊어버림을 피하고 고정된 토큰 예산에 얽매이지 않는 방법을 제안합니다.