In Stage 1 and 2, we set the global batch size, the learning rate, the gradient clip and the number of epoch to \(4096\), \(1\mathrm{e}{-4}\), \(0.5\) and \(1\), respectively. In Stage 3, these parameters are adjusted to \(256\), \(2\mathrm{e}{-5}\), \(1.0\) and \(2\). The training consumes \(128\) NVIDIA A100 GPUs. The total training time amounted to approximately \(3\) days for Yi-VL-6B and \(10\) days for Yi-VL-34B.
1단계와 2단계에서는 전역 Batch Size, Learning Rate, Gradient Clip 및 에포크 수를 각각 \(4096\), \(1\mathrm{e}{-4}\), \(0.5\) 및 \(1\)로 설정합니다. 3단계에서는 이러한 매개변수를 \(256\), \(2\mathrm{e}{-5}\), \(1.0\) 및 \(2\)로 조정합니다. 훈련에는 \(128\) NVIDIA A100 GPU가 소비됩니다. 총 훈련 시간은 Yi-VL-6B의 경우 약 3일, Yi-VL-34B의 경우 약 10일이 소요되었습니다.
1단계와 2단계에서는 전역 배치 크기, 학습 속도, 그라디언트 클립 및 에포크 수를 각각 \(4096\), \(1\mathrm{e}{-4}\), \(0.5\) 및 \(1\)로 설정합니다. 3단계에서는 이러한 매개변수를 \(256\), \(2\mathrm{e}{-5}\), \(1.0\) 및 \(2\)로 조정합니다. 훈련에는 \(128\) NVIDIA A100 GPU가 소비됩니다. 총 훈련 시간은 Yi-VL-6B의 경우 약 3일, Yi-VL-34B의 경우 약 10일이 소요되었습니다.