To avoid complete re-training, we explore simple and scalable continual learning strategies for continuing to pre-train LLMs (up to 10B parameters) on large amounts of new data (200B+ tokens). We refer to our setting as "continual pre-training" and highlight that it is _distinct_ from existing settings in the literature (Gururangan et al., 2020; Ke et al., 2022; Scialom et al., 2022; Xie et al., 2023) due to the large amount of incoming data we consider. In this work, we do not intend to improve on the performance of models trained from a random initialization on all of the available data. Instead, we consider models trained on the union of existing datasets as baselines whose performance we seek to match using a combination of continual learning strategies at scale.
완전한 재훈련을 피하기 위해, 우리는 새로운 데이터(200B+ tokens)의 대량에 대해 LLM(최대 10B parameters)을 계속 pre-train하기 위한 간단하고 확장 가능한 continual learning 전략을 탐색합니다. 우리는 이 설정을 "continual pre-training"이라고 부르며, 우리가 고려하는 incoming data의 양 때문에 기존 문헌의 설정(Gururangan et al., 2020; Ke et al., 2022; Scialom et al., 2022; Xie et al., 2023)과 _구별된다_는 점을 강조합니다. 이 작업에서는 사용 가능한 모든 데이터에 대해 무작위 초기화로부터 훈련된 모델의 성능을 개선하려는 의도가 없습니다. 대신, 기존 데이터 세트의 합집합으로 훈련된 모델을 baseline으로 간주하고, 규모의 continual learning 전략의 조합을 사용하여 이를 따라잡을 수 있는 성능을 추구합니다.
완전한 재교육을 피하기 위해, 우리는 새로운 데이터(200B+ 토큰)의 대량에 대해 LLM(최대 10B 파라미터)을 계속 미리 훈련하기 위한 간단하고 확장 가능한 지속 학습 전략을 탐색합니다. 우리는 이 설정을 "지속적 사전 훈련"이라고 부르며, 우리가 고려하는 들어오는 데이터의 양 때문에 기존 문헌의 설정(Gururangan et al., 2020; Ke et al., 2022; Scialom et al., 2022; Xie et al., 2023)과 _구별된다_는 점을 강조합니다. 이 작업에서는 사용 가능한 모든 데이터에 대해 무작위 초기화로부터 훈련된 모델의 성능을 개선하려는 의도가 없습니다. 대신, 기존 데이터 세트의 합집합으로 훈련된 모델을 기준 모델로 간주하고, 규모의 지속 학습 전략의 조합을 사용하여 이를 따라잡을 수 있는 성능을 추구합니다.