undergo two or more pre-training phases sequentially. At the start of each phase, we reset the optimizer states, since optimizer states may not always be available, e.g. when using open-weight models from HuggingFace. That is, our results apply to situations where a continually pre-trained LLM is randomly initialized and pre-trained on datasets \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\) in sequence where \(N\geq 2\). For the realistic settings we consider _tokens_(\(\mathcal{D}_{i}\)) \(\geq\) 100B.
두 개 이상의 사전 학습 단계를 순차적으로 거칩니다. 각 단계가 시작될 때 optimizer 상태를 재설정하는데, 예를 들어 HuggingFace의 오픈 웨이트 모델을 사용할 때는 optimizer 상태를 항상 사용할 수 있는 것은 아니기 때문입니다. 즉, 저희의 결과는 지속적으로 사전 학습된 LLM이 무작위로 초기화되어 데이터 세트 \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\)에 대해 사전 학습되는 경우에 적용되며, 여기서 \(N\geq 2\)입니다. 우리가 고려하는 현실적인 설정에서는 _tokens_(\(\mathcal{D}_{i}\)) \(\geq\) 100B입니다.
두 개 이상의 사전 학습 단계를 순차적으로 거칩니다. 각 단계가 시작될 때 옵티마이저 상태를 재설정하는데, 예를 들어 HuggingFace의 오픈 웨이트 모델을 사용할 때는 옵티마이저 상태를 항상 사용할 수 있는 것은 아니기 때문입니다. 즉, 저희의 결과는 지속적으로 사전 학습된 LLM이 무작위로 초기화되어 데이터 세트 \(\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\)에 대해 사전 학습되는 경우에 적용되며, 여기서 \(N\geq 2\)입니다. 우리가 고려하는 현실적인 설정에서는 _토큰_(\(\mathcal{D}_{i}\)) \(\geq\) 100B입니다.