**Mixed Precision Training.** In previous PLMs (_e.g._, BERT [23]), 32-bit floating-point numbers, also known as FP32, have been predominantly used for pre-training. In recent years, to pre-train extremely large language models, some studies [334] have started to utilize 16-bit floating-point numbers (FP16), which reduces memory usage and communication overhead. Additionally, as popular NVIDIA GPUs (_e.g._, A100) have twice the amount of FP16 computation units as FP32, the computational efficiency of FP16 can be further improved. However, existing work has found that FP16 may lead to the loss of computational accuracy [64, 78], which affects the final model performance. To alleviate it, an alternative called _Brain Floating Point (BF16)_ has been used for training, which allocates more exponent bits and fewer significant bits than FP16. For pre-training, BF16 generally performs better than FP16 on representation accuracy [78].
**Mixed Precision Training.** 이전 PLM(_예: BERT [23])에서는 사전 훈련에 주로 FP32라고도 하는 32비트 부동 소수점 숫자가 사용되었습니다. 최근에는 매우 큰 언어 모델을 사전 훈련하기 위해 일부 연구 [334]에서 메모리 사용량과 통신 오버헤드를 줄여주는 16비트 부동 소수점 숫자(FP16)를 활용하기 시작했습니다. 또한, 인기 있는 NVIDIA GPU(_예: A100)는 FP32보다 FP16 계산 유닛의 양이 두 배이므로 FP16의 계산 효율성을 더욱 개선할 수 있습니다. 그러나 기존 연구에 따르면 FP16은 계산 정확도를 떨어뜨려 최종 모델 성능에 영향을 미칠 수 있습니다[64, 78]. 이를 완화하기 위해 훈련에 _Brain Floating Point (BF16)_라는 대안이 사용되고 있는데, 이는 FP16보다 지수 비트는 더 많이, 유효 비트는 더 적게 할당합니다. 사전 훈련의 경우, BF16은 일반적으로 표현 정확도 [78]에서 FP16보다 더 나은 성능을 발휘합니다.
**혼합 정밀도 훈련**. 이전 PLM(_예: BERT [23])에서는 사전 훈련에 주로 FP32라고도 하는 32비트 부동 소수점 숫자가 사용되었습니다. 최근에는 매우 큰 언어 모델을 사전 훈련하기 위해 일부 연구 [334]에서 메모리 사용량과 통신 오버헤드를 줄여주는 16비트 부동 소수점 숫자(FP16)를 활용하기 시작했습니다. 또한, 인기 있는 NVIDIA GPU(_예: A100)는 FP32보다 FP16 계산 유닛의 양이 두 배이므로 FP16의 계산 효율성을 더욱 개선할 수 있습니다. 그러나 기존 연구에 따르면 FP16은 계산 정확도를 떨어뜨려 최종 모델 성능에 영향을 미칠 수 있습니다[64, 78]. 이를 완화하기 위해 훈련에 _브레인 플로팅 포인트(BF16)_라는 대안이 사용되고 있는데, 이는 FP16보다 지수 비트는 더 많이, 유효 비트는 더 적게 할당합니다. 사전 훈련의 경우, BF16은 일반적으로 표현 정확도 [78]에서 FP16보다 더 나은 성능을 발휘합니다.