To calculate carbon emissions, we multiply the total power consumption by a carbon intensity factor, measured in kg CO\({}_{2}\) emitted per KWh, based on the physical location of the data center where each model was trained. The model trained on A100-40GB GPUs was trained in Australia, so we assume a carbon intensity factor of 0.610, the national average for Australia in 2022.10 The model trained on MI250X GPUs was trained in the LUMI supercomputer, which runs on 100% renewable, carbon-neutral energy, so we assume a carbon intensity factor of 0. LUMI is powered entirely by hydroelectric power and some sources (Ubierna et al., 2022) measure the carbon intensity factor of hydroelectric power to be 0.024, which would imply total carbon emissions of 3.54 tCO\({}_{2}\)eq.11 However, we rely on the official LUMI data for our calculations, and thus we estimate total pretraining emissions of **69.78 tCO\({}_{2}\)eq.12** In Table 8 we compare our models with other previously released models based on publicly available information.
탄소 배출량을 계산하기 위해 각 모델이 학습된 데이터 센터의 물리적 위치를 기준으로 KWh당 배출된 CO\({}_{2}\) 킬로그램 단위의 탄소 강도 계수를 총 전력 소비량에 곱합니다. A100-40GB GPU로 학습된 모델은 호주에서 학습되었으므로 2022년 호주의 국가 평균인 0.610의 탄소 강도 계수를 가정합니다. MI250X GPU로 학습된 모델은 100% 재생 가능한 탄소 중립 에너지로 작동하는 LUMI 슈퍼컴퓨터에서 학습되었으므로 탄소 강도 계수 0. LUMI는 전적으로 수력 발전으로 구동되며 일부 소스(Ubierna et al., 2022)는 수력 발전의 탄소 강도 계수를 0.024로 측정하여 총 탄소 배출량이 3.54 tCO\({}_{2}\)eq라고 가정합니다. 그러나 계산에는 공식 LUMI 데이터를 사용하므로 총 사전 학습 배출량은 **69.78 tCO\({}_{2}\)eq**입니다. 표 8에서는 공개적으로 사용 가능한 정보를 기반으로 이전에 출시된 다른 모델과 비교한 모델을 보여줍니다.
탄소 배출량을 계산하기 위해 각 모델이 학습된 데이터 센터의 물리적 위치를 기준으로 KWh당 배출된 CO\({}_{2}\) 킬로그램 단위의 탄소 강도 계수를 총 전력 소비량에 곱합니다. A100-40GB GPU로 학습된 모델은 호주에서 학습되었으므로 2022년 호주의 국가 평균인 0.610의 탄소 강도 계수를 가정합니다.10 MI250X GPU로 학습된 모델은 100% 재생 가능한 탄소 중립 에너지로 작동하는 LUMI 슈퍼컴퓨터에서 학습되었으므로 탄소 강도 계수 0. LUMI는 전적으로 수력 발전으로 구동되며 일부 소스(Ubierna et al., 2022)는 수력 발전의 탄소 강도 계수를 0.024로 측정하여 총 탄소 배출량이 3.54 tCO\({}_{2}\)eq.11이라고 가정합니다. 그러나 계산에는 공식 LUMI 데이터를 사용하므로 총 사전 학습 배출량은 **69.78 tCO\({}_{2}\)eq.12** 표 8에서는 공개적으로 사용 가능한 정보를 기반으로 이전에 출시된 다른 모델과 비교한 모델을 보여줍니다.