During the training process, we utilized the AdamW optimizer with \(\beta_{1}\) set to 0.9, \(\beta_{2}\) set to 0.95, weight decay set to 0.1, and performed gradient clipping to limit it to 1.0. For continual pre-training, we start with a base learning rate of 5e-5, followed by a warm-up phase of 2000 steps, and then gradually reduced the learning rate according to a cosine schedule until it reached 10% of the base learning rate. The model is pre-trained for 23063 steps. For supervised fine-tuning, we start with the learning rate 1e-5 and train the model for 3 epochs. The model is trained on 32 Tesla V100 32GB GPUs.
훈련 과정에서 \(\beta_{1}\)을 0.9로, \(\beta_{2}\)를 0.95로, 가중치 감쇠를 0.1로 설정하고 AdamW Optimizer를 활용했으며, gradient clipping을 수행하여 1.0으로 제한했습니다. 지속적인 사전 학습의 경우, 기본 Learning Rate는 5e-5로 시작하여 2000단계의 워밍업 단계를 거친 후 cosine schedule에 따라 기본 Learning Rate의 10%에 도달할 때까지 Learning Rate를 점진적으로 줄였습니다. 모델은 23063단계 동안 사전 훈련됩니다. Supervised Fine-tuning의 경우 Learning Rate 1e-5로 시작하여 3회에 걸쳐 모델을 훈련합니다. 이 모델은 32개의 Tesla V100 32GB GPU에서 훈련됩니다.
훈련 과정에서 \(\beta_{1}\)을 0.9로, \(\beta_{2}\)를 0.95로, 가중치 감쇠를 0.1로 설정하고 AdamW 옵티마이저를 활용했으며, 그라디언트 클리핑을 수행하여 1.0으로 제한했습니다. 지속적인 사전 학습의 경우, 기본 학습 속도는 5e-5로 시작하여 2000단계의 워밍업 단계를 거친 후 코사인 스케줄에 따라 기본 학습 속도의 10%에 도달할 때까지 학습 속도를 점진적으로 줄였습니다. 모델은 23063단계 동안 사전 훈련됩니다. 지도 미세 조정의 경우 학습 속도 1e-5로 시작하여 3회에 걸쳐 모델을 훈련합니다. 이 모델은 32개의 Tesla V100 32GB GPU에서 훈련됩니다.