We calculate the total power consumption for our models by measuring the power consumption of a single node every 25ms, calculating an average across the entire training run, and multiplying by the total number of nodes. We then account for the energy efficiency of the data center by multiplying the previous total by a power usage effectiveness (PUE) factor, which we set to 1.1, representing a conservative 10% energy consumption overhead typical of energy efficient datacenters.89 We estimate that pretraining our 7B models consumed **239 MWh** of energy.
모델의 총 전력 소비량은 25ms마다 단일 노드의 전력 소비량을 측정하고 전체 훈련 실행에 걸쳐 평균을 계산한 다음 총 노드 수를 곱하여 계산합니다. 그런 다음 이전 총합에 전력 사용 효율성(PUE) 계수를 곱하여 데이터 센터의 에너지 효율성을 고려합니다(여기서 1.1로 설정하여 에너지 효율이 높은 데이터 센터의 전형적인 10%의 에너지 소비 오버헤드를 나타냄).89 7B 모델을 pretraining하는 데 소비된 에너지는 **239 MWh**라고 추정합니다.
모델의 총 전력 소비량은 25ms마다 단일 노드의 전력 소비량을 측정하고 전체 훈련 실행에 걸쳐 평균을 계산한 다음 총 노드 수를 곱하여 계산합니다. 그런 다음 이전 총합에 전력 사용 효율성(PUE) 계수를 곱하여 데이터 센터의 에너지 효율성을 고려합니다(여기서 1.1로 설정하여 에너지 효율이 높은 데이터 센터의 전형적인 10%의 에너지 소비 오버헤드를 나타냄).89 7B 모델을 사전 학습하는 데 소비된 에너지는 **239MWh**라고 추정합니다.