Following previous literature (Strubell et al., 2019; Patterson et al., 2021; Wu et al., 2022; Dodge et al., 2022), we estimate the total energy consumed and carbon released while pretraining our models by calculating the total power consumption required for training, and then multiplying it by the carbon emission intensity of the power grid where the model was trained. While reporting these operational emissions is standard practice, it does not account for other sources of emissions such as the embodied emissions due to the manufacturing, transportation and disposal of hardware and datacenter infrastructure, lifetime operational emissions due to use, rebound effects, or other environmental impacts such as water consumption or mining. Thus our estimates should be viewed as lower bounds.
이전 문헌(Strubell et al., 2019; Patterson et al., 2021; Wu et al., 2022; Dodge et al., 2022)에 따라 모델을 pretraining하는 동안 소비되는 총 에너지와 배출되는 탄소를 추정하기 위해 학습에 필요한 총 전력 소비량을 계산한 다음 모델이 학습된 전력망의 탄소 배출 강도를 곱습니다. 이러한 운영 배출량을 보고하는 것이 표준 관행이지만 하드웨어 및 데이터센터 인프라의 제조, 운송 및 폐기로 인한 구체화 배출량, 사용으로 인한 수명 운영 배출량, 반등 효과 또는 물 소비량이나 채굴과 같은 기타 환경 영향과 같은 다른 배출원은 고려하지 않습니다. 따라서 우리의 추정치는 하한선으로 간주해야 합니다.
이전 문헌(Strubell et al., 2019; Patterson et al., 2021; Wu et al., 2022; Dodge et al., 2022)에 따라 모델을 사전 학습하는 동안 소비되는 총 에너지와 배출되는 탄소를 추정하기 위해 학습에 필요한 총 전력 소비량을 계산한 다음 모델이 학습된 전력망의 탄소 배출 강도를 곱합니다. 이러한 운영 배출량을 보고하는 것이 표준 관행이지만 하드웨어 및 데이터센터 인프라의 제조, 운송 및 폐기로 인한 구체화 배출량, 사용으로 인한 수명 운영 배출량, 반등 효과 또는 물 소비량이나 채굴과 같은 기타 환경 영향과 같은 다른 배출원은 고려하지 않습니다. 따라서 우리의 추정치는 하한선으로 간주해야 합니다.