More details of training and computations.We use 4 Nvidia A100 with 80GB memory to train our models. All models are trained for 3 epochs with a batch size of 128, a peak learning rate of 2e-5 with 3% warmup steps, and linear decay afterward. We set the maximum token length to be 2,048 for the 7B model, and 1,524 for the 13B model due to the memory constraint. We use Deepspeed stage 3 (Rajbhandari et al., 2020) to conduct multi-GPU distributed training, with training precision Bfloat16 enabled. FlashAttention (Dao et al., 2022) is used to make the long-context training more efficient. We run inference of our trained models using 1-2 Quadro RTX 6000 GPUs with 24GB memory.
훈련 및 계산의 세부 사항. 80GB 메모리의 Nvidia A100 4대를 사용하여 모델을 훈련합니다. 모든 모델은 3회의 에포크 동안 batch size 128, 3% warmup 단계와 함께 최대 learning rate 2e-5, 이후 linear decay로 훈련됩니다. 7B 모델의 경우 최대 토큰 길이를 2,048로, 13B 모델의 경우 메모리 제약으로 인해 1,524로 설정했습니다. Deepspeed stage 3 (Rajbhandari et al., 2020)을 사용하여 다중 GPU 분산 훈련을 수행하며, 훈련 정밀도 Bfloat16을 활성화합니다. FlashAttention (Dao et al., 2022)은 장문 문맥 훈련을 보다 효율적으로 수행하기 위해 사용됩니다. 훈련된 모델의 추론은 24GB 메모리의 1~2개의 Quadro RTX 6000 GPU를 사용하여 실행합니다.
훈련 및 계산의 세부 사항. 80GB 메모리의 Nvidia A100 4대를 사용하여 모델을 훈련합니다. 모든 모델은 3회의 에포크 동안 128의 배치 크기, 3% 워밍업 단계와 함께 최대 학습 속도 2e-5, 이후 선형 감소로 훈련됩니다. 7B 모델의 경우 최대 토큰 길이를 2,048로, 13B 모델의 경우 메모리 제약으로 인해 1,524로 설정했습니다. 딥스피드 스테이지 3(Rajbhandari et al., 2020)을 사용하여 다중 GPU 분산 훈련을 수행하며, 훈련 정밀도 Bfloat16을 활성화합니다. 플래시 어텐션(Dao et al., 2022)은 장문 문맥 훈련을 보다 효율적으로 수행하기 위해 사용됩니다. 훈련된 모델의 추론은 24GB 메모리의 1~2개의 쿼드로 RTX 6000 GPU를 사용하여 실행합니다.