**Remarks.** We suggest continual pretraining is significant for its connection to the design of data schedules (Albalak et al., 2023; Chen et al., 2024b). Usually, continual pretraining applies to a pretrained model, while it is natural to further continually pretrain the continual pretrained models, i.e., multi-stage pretraining (Chen et al., 2024b). In each stage, the mixture proportions or even the domain components of training data can be different.
**참고.** 지속적인 pretraining은 데이터 일정의 설계와 관련이 있기 때문에 중요하다고 제안합니다(Albalak et al., 2023; Chen et al., 2024b). 일반적으로 지속적인 pretraining은 사전 학습된 모델에 적용되지만, 지속적으로 사전 학습된 모델, 즉 multi-stage pretraining (Chen et al., 2024b)을 추가로 사전 학습하는 것이 자연스럽습니다. 각 단계에서 혼합 비율 또는 훈련 데이터의 도메인 구성 요소가 다를 수 있습니다.
**참고.** 지속적인 사전 학습은 데이터 일정의 설계와 관련이 있기 때문에 중요하다고 제안합니다(Albalak et al., 2023; Chen et al., 2024b). 일반적으로 지속적인 사전 학습은 사전 학습된 모델에 적용되지만, 지속적으로 사전 학습된 모델, 즉 다단계 사전 학습(Chen et al., 2024b)을 추가로 사전 학습하는 것이 자연스럽습니다. 각 단계에서 혼합 비율 또는 훈련 데이터의 도메인 구성 요소가 다를 수 있습니다.