Naively continuing to train the model on new data, however, tends to lead to performance far below re-training on all available data, often due to 1) poor adaptation (failure to optimize the new dataset) or 2) catastrophic forgetting (significant capability loss on the previous dataset). Firstly, the question of adaptation is central to our setting as training on large datasets is costly. One would presumably not choose to spend considerable computational resources training on a new dataset only to minimally adapt to it. However, most performant open-source LLMs (Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024) decay their learning rate to a small value by the end of training. We hypothesize, therefore, that the learning rate must be re-increased and re-decayed to improve adaptation per compute spent when training on a new dataset. We note that this has not been thoroughly studied in the continual learning literature. Secondly, catastrophic forgetting is a key difficulty to overcome if one is to realize the full potential of continual pre-training. Adapting to hundreds of billions of new tokens is important, but it must not come at the cost of erasing most existing knowledge in the LLM. Recent work (Scialom et al., 2022) shows, in an LLM fine-tuning setting, that replaying previous data (as little as 1%) is sufficient to mitigate forgetting to a large extent. While continually pre-training on large amounts of new data will almost surely lead to more forgetting than fine-tuning, we hypothesize that an appropriate amount of replay could mitigate forgetting--even in our setting. Moreover, recent works show that pre-training (Cossu et al., 2022; Ramasesh et al., 2022; Mehta et al., 2023) and increasing model size (Mirzadeh et al., 2022) both help to reduce the effects of forgetting. We, therefore, expect the trend of increasing language model capacity and pre-training dataset size in tandem (Kaplan et al., 2020; Hoffmann et al., 2022; Touvron et al., 2023) will yield models increasingly capable of continual learning (Scialom et al., 2022), suggesting that our experimental results should only improve with models scale.
그러나 새로운 데이터에 대해 모델을 계속 훈련하면 1) 적응 불량(새 데이터 세트에 최적화하지 못함) 또는 2) 재앙적 망각(이전 데이터 세트에서 상당한 기능 손실)으로 인해 사용 가능한 모든 데이터에 대해 재훈련하는 것보다 훨씬 낮은 성능을 보이는 경향이 있습니다. 첫째, 대규모 데이터 세트에 대한 훈련은 비용이 많이 들기 때문에 적응의 문제는 우리 설정의 핵심입니다. 새로운 데이터 세트에 대해 상당한 계산 리소스를 투자하여 최소한의 적응을 하는 것에 그럴듯하지 않을 것입니다. 그러나 가장 성능이 뛰어난 오픈 소스 LLM(Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024)은 Learning Rate가 훈련이 끝날 무렵에 작은 값으로 감소합니다. 따라서 새로운 데이터 세트에 대해 훈련할 때 계산당 적응력을 향상시키려면 Learning Rate를 다시 높이고 다시 감소시켜야 한다는 가설을 세웁니다. 이는 지속적 학습 문헌에서 철저히 연구되지 않았다는 점에 유의합니다. 둘째, 재앙적 망각은 지속적 사전 학습의 잠재력을 실현하기 위해 극복해야 할 핵심적인 어려움입니다. 수십억 개의 새로운 토큰에 적응하는 것도 중요하지만, LLM의 기존 지식 대부분을 지우는 대가로 적응해서는 안 됩니다. 최근 연구(Scialom et al., 2022)에 따르면, LLM Fine-tuning 환경에서 이전 데이터를 1%만 재생해도 망각을 상당 부분 완화하기에 충분하다는 사실이 밝혀졌습니다. 대량의 새로운 데이터에 대해 지속적으로 사전 학습을 하면 Fine-tuning보다 더 많은 망각을 초래할 수 있지만, 적절한 양의 리플레이를 통해 망각을 완화할 수 있다는 가설을 세웁니다. 또한 최근 연구에 따르면 사전 학습(Cossu et al., 2022; Ramasesh et al., 2022; Mehta et al., 2023)과 모델 크기 증가(Mirzadeh et al., 2022)가 모두 망각의 영향을 줄이는 데 도움이 된다는 사실이 밝혀졌습니다. 따라서 언어 모델의 용량과 사전 학습 데이터 세트 크기를 동시에 늘리는 추세(Kaplan et al., 2020; Hoffmann et al., 2022; Touvron et al., 2023)는 지속 학습(Scialom et al., 2022)에 점점 더 능력이 뛰어난 모델을 산출할 것으로 예상되며, 이는 모델 규모가 커질수록 실험 결과가 개선될 것임을 시사합니다.
그러나 새로운 데이터에 대해 모델을 계속 훈련하면 1) 적응 불량(새 데이터 세트에 최적화하지 못함) 또는 2) 재앙적 망각(이전 데이터 세트에서 상당한 기능 손실)으로 인해 사용 가능한 모든 데이터에 대해 재훈련하는 것보다 훨씬 낮은 성능을 보이는 경향이 있습니다. 첫째, 대규모 데이터 세트에 대한 훈련은 비용이 많이 들기 때문에 적응의 문제는 우리 설정의 핵심입니다. 새로운 데이터 세트에 대해 상당한 계산 리소스를 투자하여 최소한의 적응을 하는 것에 그럴듯하지 않을 것입니다. 그러나 가장 성능이 뛰어난 오픈 소스 LLM(Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024)은 학습률이 훈련이 끝날 무렵에 작은 값으로 감소합니다. 따라서 새로운 데이터 세트에 대해 훈련할 때 계산당 적응력을 향상시키려면 학습률을 다시 높이고 다시 감소시켜야 한다는 가설을 세웁니다. 이는 지속적 학습 문헌에서 철저히 연구되지 않았다는 점에 유의합니다. 둘째, 재앙적 망각은 지속적 사전 학습의 잠재력을 실현하기 위해 극복해야 할 핵심적인 어려움입니다. 수십억 개의 새로운 토큰에 적응하는 것도 중요하지만, LLM의 기존 지식 대부분을 지우는 대가로 적응해서는 안 됩니다. 최근 연구(Scialom et al., 2022)에 따르면, LLM 미세 조정 환경에서 이전 데이터를 1%만 재생해도 망각을 상당 부분 완화하기에 충분하다는 사실이 밝혀졌습니다. 대량의 새로운 데이터에 대해 지속적으로 사전 학습을 하면 미세 조정보다 더 많은 망각을 초래할 수 있지만, 적절한 양의 리플레이를 통해 망각을 완화할 수 있다는 가설을 세웁니다. 또한 최근 연구에 따르면 사전 학습(Cossu et al., 2022; Ramasesh et al., 2022; Mehta et al., 2023)과 모델 크기 증가(Mirzadeh et al., 2022)가 모두 망각의 영향을 줄이는 데 도움이 된다는 사실이 밝혀졌습니다. 따라서 언어 모델의 용량과 사전 학습 데이터 세트 크기를 동시에 늘리는 추세(Kaplan et al., 2020; Hoffmann et al., 2022; Touvron et al., 2023)는 지속 학습(Scialom et al., 2022)에 점점 더 능력이 뛰어난 모델을 산출할 것으로 예상되며, 이는 모델 규모가 커질수록 실험 결과가 개선될 것임을 시사합니다.