Throughout this study, we employ the Pythia Suit (Biderman et al., 2023) as our model architectures, the specific configurations are in Tab. 2. The maximum sequence length is 4096 for pretraining from scratch and 2048 for continual pretraining, where the latter aligns with the setting of the original pretrained models. In all our experiments, we train the model with a batch size of 1M tokens and a maximum learning rate of 1e-4. We warm up the learning rates for 2000 steps and decay it to 0.1 of the maximum at the last training step with a cosine decay schedule. For continual pretraining, we initialize the models with the 20k-step checkpoint of the Pythia 70M model and do not apply a learning rate warmup.
이 연구에서는 모델 아키텍처로 Pythia Suit(Biderman et al., 2023)를 사용하며, 구체적인 구성은 표 2와 같습니다. 최대 시퀀스 길이는 처음부터 전처리를 위한 경우 4096, 지속적인 전처리를 위한 경우 2048이며, 후자는 원래 사전 학습된 모델의 설정과 일치합니다. 모든 실험에서 Batch Size는 1M 토큰, 최대 Learning Rate는 1e-4로 모델을 훈련합니다. Learning Rate는 2000단계 동안 워밍업하고, 코사인 감쇠 스케줄을 통해 마지막 훈련 단계에서 최대 학습 속도의 0.1로 감쇠합니다. 지속적 전처리를 위해 20k 단계 체크포인트의 Pythia 70M 모델로 모델을 초기화하고 Learning Rate 워밍업을 적용하지 않습니다.
이 연구에서는 모델 아키텍처로 Pythia Suit(Biderman et al., 2023)를 사용하며, 구체적인 구성은 표 2와 같습니다. 최대 시퀀스 길이는 처음부터 전처리를 위한 경우 4096, 지속적인 전처리를 위한 경우 2048이며, 후자는 원래 사전 학습된 모델의 설정과 일치합니다. 모든 실험에서 배치 크기는 1M 토큰, 최대 학습 속도는 1e-4로 모델을 훈련합니다. 학습 속도는 2000단계 동안 워밍업하고, 코사인 감쇠 스케줄을 통해 마지막 훈련 단계에서 최대 학습 속도의 0.1로 감쇠합니다. 지속적 전처리를 위해 20k 단계 체크포인트의 Pythia 70M 모델로 모델을 초기화하고 학습률 워밍업을 적용하지 않습니다.