We trained each of our 26 2.6B parameter models on NVIDIA A100 GPUs, and the training of each model took up to 2304 GPU hours. Therefore, the total training costs amounted to \(\approx 59.000\) GPU hours.
저희는 각 26개의 2.6B 파라미터 모델을 NVIDIA A100 GPU에서 훈련시켰으며, 각 모델의 훈련에는 최대 2304 GPU 시간이 소요되었습니다. 따라서 총 훈련 비용은 약 59,000 GPU 시간이었습니다.
26개의 2.6B 파라미터 모델 각각을 NVIDIA A100 GPU에서 학습했으며, 각 모델의 학습에는 최대 2304시간의 GPU 시간이 소요되었습니다. 따라서 총 학습 비용은 약 59.000시간의 GPU 시간이 소요되었습니다.