In comparison, on 64 A100s, we achieve a throughput of 0.5M tokens per second. Assuming training for 300B tokens, would mean 256 GPU days, accounting for about 6k GPU hours to train a single model. On the contrary, training a 13B model would take about 30K GPU hours. At the scale of training a 13B model, reducing the training cost by 3-10x can incorporate the cost overhead of training with synthetic data in a single run.
이에 비해 A100 64대에서는 초당 0.5M tokens의 처리량을 달성합니다. 300B tokens에 대한 훈련을 가정하면 256 GPU일이 소요되며, 단일 모델을 훈련하는 데 약 6,000시간의 GPU가 소요됩니다. 반대로 13B 모델을 훈련하는 데는 약 30,000시간의 GPU가 소요됩니다. 13B 모델을 훈련하는 규모에서 훈련 비용을 3~10배 줄이면 한 번의 훈련으로 합성 데이터로 훈련하는 데 드는 비용 오버헤드를 포함할 수 있습니다.
이에 비해 A100 64대에서는 초당 0.5M 토큰의 처리량을 달성합니다. 3000억 토큰에 대한 훈련을 가정하면 256 GPU일이 소요되며, 단일 모델을 훈련하는 데 약 6,000시간의 GPU가 소요됩니다. 반대로 130억 모델을 훈련하는 데는 약 30,000시간의 GPU가 소요됩니다. 13B 모델을 훈련하는 규모에서 훈련 비용을 3~10배 줄이면 한 번의 훈련으로 합성 데이터로 훈련하는 데 드는 비용 오버헤드를 포함할 수 있습니다.