_Remark B.1_ (bf16 on gated MLP).: As discussed in Section B.2, the training of LLaMA and Mistral architectures is less stable due to the use of GatedMLP, leading to the necessity of switching to (mixed-precision) bf16 training when required.
_Remark B.1_ (bf16 on gated MLP).: B.2절에서 논의한 바와 같이, LLaMA 및 Mistral 아키텍처의 training은 GatedMLP의 사용으로 인해 안정성이 떨어지기 때문에 필요한 경우 (혼합 정밀도) bf16 training으로 전환해야 합니다.
_Remark B.1_ (게이트된 MLP의 bf16).: B.2절에서 논의한 바와 같이, LLaMA 및 Mistral 아키텍처의 트레이닝은 게이트된 MLP의 사용으로 인해 안정성이 떨어지기 때문에 필요한 경우 (혼합 정밀도) bf16 트레이닝으로 전환해야 합니다.