Our experimental results assume that continually pre-trained LLMs undergo two or more pre-training phases sequentially. That is, our results apply to situations where a continually pre-trained LLM is randomly initialized and pre-trained on datasets \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\) in sequence where \(N\geq 2\) and \(\textit{tokens}(\mathcal{D}_{i})\geq 100\)B. We note that this includes situations where the LLM in question is an open-source model (Touvron et al., 2023; 20; Jiang et al., 2023; Gemma Team et al., 2024) which has already been pre-trained on \(\mathcal{D}_{0}\) and situations where organizations may wish to train an initial LLM with the intention of continually pre-training it on new data. The new data may be similar to the previous data, corresponding to a weak distribution shift (e.g., the latest web-scrape of different domains), or quite different from previous data, corresponding to a strong distribution shift (e.g., data from a completely new language).
우리의 실험 결과는 지속적으로 사전 훈련된 LLM이 두 번 이상의 사전 훈련 단계를 순차적으로 거친다는 가정을 기반으로 합니다. 즉, 우리의 결과는 지속적으로 사전 훈련된 LLM이 무작위로 초기화되고 \(N\geq 2\) 및 \(\textit{tokens}(\mathcal{D}_{i})\geq 100\)B인 데이터셋 \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\)에서 순차적으로 사전 훈련되는 상황에 적용됩니다. 여기에는 이미 \(\mathcal{D}_{0}\)에서 사전 훈련된 오픈 소스 모델(Touvron et al., 2023; 20; Jiang et al., 2023; Gemma Team et al., 2024)인 LLM이 포함된 상황과, 조직이 새로운 데이터에 대해 지속적으로 사전 훈련할 의도로 초기 LLM을 훈련시키고자 하는 상황이 포함됩니다. 새로운 데이터는 이전 데이터와 유사하여 약한 분포 변화(예: 다양한 도메인의 최신 웹 스크랩)에 해당할 수도 있고, 이전 데이터와 완전히 달라 강한 분포 변화(예: 완전히 새로운 언어의 데이터)에 해당할 수도 있습니다.
우리의 실험 결과는 지속적으로 사전 학습된 LLM이 두 번 이상의 사전 학습 단계를 순차적으로 거친다고 가정합니다. 즉, 우리의 결과는 지속적으로 사전 학습된 LLM이 무작위로 초기화되어 데이터 세트 \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\)에서 순차적으로 사전 학습되는 상황에 적용됩니다. 여기서 \(N\geq 2\) 및 \(\textit{tokens}(\mathcal{D}_{i})\geq 100\)B입니다. 여기에는 해당 LLM이 이미 \(\mathcal{D}_{0}\)에 대해 사전 학습된 오픈 소스 모델(Touvron et al., 2023; 20; Jiang et al., 2023; Gemma Team et al., 2024)인 경우와 조직에서 새로운 데이터에 대해 지속적으로 사전 학습할 의도로 초기 LLM을 학습시키고자 하는 경우가 포함된다는 점에 유의합니다. 새로운 데이터는 이전 데이터와 유사하여 약한 분포 이동(예: 서로 다른 도메인의 최신 웹 스크랩)에 해당하거나 이전 데이터와 상당히 다를 수 있으며, 이는 강한 분포 이동(예: 완전히 새로운 언어의 데이터)에 해당합니다.