We used a combination of 8-way tensor parallelism (Shoeybi et al., 2019) and data parallelism to train the model; we also use a distributed optimizer to shard the optimizer state over the data-parallel replicas. The degree of data parallelism was varied from 96 to 384 as the batch size was ramped up. Table 2 summarizes the 3 stages of batch size ramp, and includes the per-iteration time and model FLOP/s utilization (MFU) (Chowdhery et al., 2022; Korthikanti et al., 2022). MFU quantifies how efficiently the GPUs are utilized in model training. Training was completed in approximately 13 calendar days.
모델을 훈련하기 위해 8-way tensor parallelism (Shoeybi et al., 2019)과 data parallelism을 조합하여 사용했으며, 분산 optimizer를 사용하여 data-parallel replicas에 걸쳐 optimizer 상태를 shard화했습니다. data parallelism의 정도는 batch size가 늘어남에 따라 96에서 384까지 다양하게 조정되었습니다. 표 2는 batch size ramp의 3단계를 요약한 것으로, 반복당 시간과 모델 FLOP/s 활용도(MFU)(Chowdhery et al., 2022; Korthikanti et al., 2022)를 포함합니다. MFU는 GPU가 모델 훈련에서 얼마나 효율적으로 활용되는지를 정량화합니다. 훈련은 약 13일 만에 완료되었습니다.
모델을 훈련하기 위해 8방향 텐서 병렬 처리(Shoeybi et al., 2019)와 데이터 병렬 처리를 조합하여 사용했으며, 분산 옵티마이저를 사용하여 데이터 병렬 복제본에 걸쳐 옵티마이저 상태를 샤드화했습니다. 데이터 병렬 처리의 정도는 배치 크기가 늘어남에 따라 96에서 384까지 다양하게 조정되었습니다. 표 2는 배치 크기 램프의 3단계를 요약한 것으로, 반복당 시간과 모델 FLOP/s 활용도(MFU)(Chowdhery et al., 2022; Korthikanti et al., 2022)를 포함합니다. MFU는 GPU가 모델 훈련에서 얼마나 효율적으로 활용되는지를 정량화합니다. 훈련은 약 13일 만에 완료되었습니다.