The models are trained on A40 GPUs (48GB VRAM) for one epoch, taking up to 48 GPUs depending on the model size. The parameter-efficient training with LoRA is performed with PEFT library5. We also utilize DeepSpeed (Rasley et al., 2020) to optimize memory efficiency during the training process. We employ the AdamW optimizer (Loshchilov and Hutter, 2019) with a peak learning rate of 2e-4 and 5% warm-up cosine scheduler. Additionally, we apply gradient clipping with a value of 1.0 to mitigate potential gradient explosion.
모델은 A40 GPU(48GB VRAM)에서 한 번의 epoch 동안 학습되며, 모델 크기에 따라 최대 48개의 GPU를 사용합니다. LoRA를 사용한 파라미터 효율적 훈련은 PEFT 라이브러리5로 수행됩니다. 또한 DeepSpeed (Rasley et al., 2020)를 활용하여 훈련 과정에서 메모리 효율을 최적화합니다. 최대 learning rate가 2e-4이고 5% warm-up cosine scheduler인 AdamW optimizer (Loshchilov and Hutter, 2019)를 사용합니다. 또한 잠재적인 gradient 폭발을 완화하기 위해 1.0 값으로 gradient clipping을 적용합니다.
모델은 A40 GPU(48GB VRAM)에서 한 번의 에포크 동안 학습되며, 모델 크기에 따라 최대 48개의 GPU를 사용합니다. LoRA를 사용한 파라미터 효율적 훈련은 PEFT 라이브러리5로 수행됩니다. 또한 딥스피드(Rasley et al., 2020)를 활용하여 훈련 과정에서 메모리 효율을 최적화합니다. 최대 학습 속도가 2e-4이고 5% 웜업 코사인 스케줄러인 AdamW 옵티마이저(Loshchilov and Hutter, 2019)를 사용합니다. 또한 잠재적인 그라디언트 폭발을 완화하기 위해 1.0 값으로 그라디언트 클리핑을 적용합니다.