_Remark A.1_ (fp16 vs bf16).: Training on GPT2 is conducted using mixed-precision fp16. We also tried bf16 and the results are nearly identical.
_Remark A.1_ (fp16 vs bf16).: Training on GPT2는 혼합 정밀도 fp16을 사용하여 수행됩니다. 또한 bf16을 시도했으며 결과는 거의 동일합니다.
_Remark A.1_ (fp16 대 bf16).: GPT2에 대한 훈련은 혼합 정밀도 fp16을 사용하여 수행됩니다. 또한 bf16을 시도했으며 결과는 거의 동일합니다.