Each model was trained for two epochs. Since both C4-Original and C4-ExactSubstr contain approximately 365M examples, we performed 152K steps with a batch size of 4800 (or approximately 2 epochs). C4-NearDup contains approximately 350M examples, we performed 146K steps (or approximately 2 epochs). On a 128-core TPU v3 pod slice, XL models trained on C4-Original and C4-ExactSubstr took approximately 131 hours (5.5 days) to train, while the XL model trained on C4-NearDup took approximately 126 hours to train. Like T5, models were trained with the Adafactor optimizer Shazeer and Stern (2018). A constant learning rate of 0.01 was used for the base models and 0.001 for the XL models.
각 모델은 두 번의 에포크 동안 훈련되었습니다. C4-Original과 C4-ExactSubstr에는 약 365M 개의 예제가 포함되어 있으므로 Batch Size 4800으로 152K 단계(또는 약 2 에포크)를 수행했습니다. C4-NearDup에는 약 350M 개의 예제가 포함되어 있으므로 146K 단계(또는 약 2 에포크)를 수행했습니다. 128코어 TPU v3 포드 슬라이스에서 C4-Original 및 C4-ExactSubstr에서 훈련된 XL 모델은 훈련하는 데 약 131시간(5.5일)이 걸렸고, C4-NearDup에서 훈련된 XL 모델은 약 126시간이 걸렸습니다. T5와 마찬가지로 모델은 Adafactor Optimizer Shazeer와 Stern(2018)으로 훈련되었습니다. 기본 모델에는 0.01의 일정한 Learning Rate가 사용되었고 XL 모델에는 0.001의 Learning Rate가 사용되었습니다.
각 모델은 두 번의 에포크 동안 훈련되었습니다. C4-Original과 C4-ExactSubstr에는 약 365M 개의 예제가 포함되어 있으므로 배치 크기 4800으로 152K 단계(또는 약 2 에포크)를 수행했습니다. C4-NearDup에는 약 350M 개의 예제가 포함되어 있으므로 146K 단계(또는 약 2 에포크)를 수행했습니다. 128코어 TPU v3 포드 슬라이스에서 C4-Original 및 C4-ExactSubstr에서 훈련된 XL 모델은 훈련하는 데 약 131시간(5.5일)이 걸렸고, C4-NearDup에서 훈련된 XL 모델은 약 126시간이 걸렸습니다. T5와 마찬가지로 모델은 Adafactor 옵티마이저 Shazeer와 Stern(2018)으로 훈련되었습니다. 기본 모델에는 0.01의 일정한 학습 속도가 사용되었고 XL 모델에는 0.001의 학습 속도가 사용되었습니다.