We trained for approximately 131 hours or 5.5 days on a 128-core TPU v3. The approximate deduplicated dataset is 3.9% smaller than the original dataset and trains in 63 hours/epoch, saving us around 5 hours of compute time for the two epochs. The XL-Originalmodel was trained in North America where the XL-ExactSubstr and XL-NearDup were trained in Taiwan. We used data from Patterson et al. (2021) to estimate amount of energy used in training these models by computing the amount of \(MWh\)/hour/core and multiplying by our usage (see Table 6 for how we computed these values). For simplicity, we use estimates from Taiwaninese datacenters as an estimate. We estimate training 2 epochs of XL-Original and XL-ExactSubstr uses \(5.86MWh\). XL-NearDup is trained for fewer steps and we estimate uses \(5.63MWh\). Training each base model was approximately 3 days on a 64-core TPU v3 pod slice which uses an estimated \(1.61MWh\).
128-core TPU v3에서 약 131시간 또는 5.5일 동안 훈련했습니다. 대략 중복된 데이터 세트는 원본 데이터 세트보다 3.9% 작고 63시간/epoch에 훈련되므로 두 epoch에 대해 약 5시간의 컴퓨팅 시간을 절약할 수 있습니다. XL-Originalmodel은 북미에서 훈련되었고, XL-ExactSubstr과 XL-NearDup은 대만에서 훈련되었습니다. 이러한 모델을 훈련하는 데 사용된 에너지 양을 추정하기 위해 Patterson 등(2021)의 데이터를 사용하여 시간당 \(MWh\)/core의 양을 계산하고 사용량을 곱하여 계산했습니다(이러한 값을 계산한 방법은 표 6을 참조하세요). 간단하게 하기 위해 대만 데이터센터의 추정치를 사용했습니다. XL-Original 및 XL-ExactSubstr의 2개 epoch를 훈련하는 데는 \(5.86MWh\)가 사용된 것으로 추정됩니다. XL-NearDup은 더 적은 단계로 훈련되며 \(5.63MWh\)가 사용된 것으로 추정됩니다. 각 기본 모델을 훈련하는 데는 64-core TPU v3 pod slice에서 약 3일이 소요되었으며, 이는 약 1.61MWh가 소요되는 것으로 추정됩니다.
128코어 TPU v3에서 약 131시간 또는 5.5일 동안 훈련했습니다. 대략 중복된 데이터 세트는 원본 데이터 세트보다 3.9% 작고 63시간/에포크에 훈련되므로 두 에포크에 대해 약 5시간의 컴퓨팅 시간을 절약할 수 있습니다. XL-Originalmodel은 북미에서 훈련되었고, XL-ExactSubstr과 XL-NearDup은 대만에서 훈련되었습니다. 이러한 모델을 훈련하는 데 사용된 에너지 양을 추정하기 위해 Patterson 등(2021)의 데이터를 사용하여 시간당 \(MWh\)/코어의 양을 계산하고 사용량을 곱하여 계산했습니다(이러한 값을 계산한 방법은 표 6을 참조하세요). 간단하게 하기 위해 대만 데이터센터의 추정치를 사용했습니다. XL-Original 및 XL-ExactSubstr의 2개 에포크를 훈련하는 데는 \(5.86MWh\)가 사용된 것으로 추정됩니다. XL-NearDup은 더 적은 단계로 훈련되며 \(5.63MWh\)가 사용된 것으로 추정됩니다. 각 기본 모델을 훈련하는 데는 64코어 TPU v3 포드 슬라이스에서 약 3일이 소요되었으며, 이는 약 1.61MWh가 소요되는 것으로 추정됩니다.