* The GatedMLP architecture _slows down_ the model's learning speed, and we observe less stable training with its use.27 Footnote 27: For example, mixed-precision fp16 training can sometimes fail for LLaMA/Mistral models smaller than 100M; hence, we use mixed-precision bf16 instead. Conversely, GPT2 models up to 1B can be trained with fp16. * Removing MLP layers entirely _slows down_ the model's learning speed, whereas adjusting the size of MLP layers (e.g., from \(8d^{2}\) to \(10.5d^{2}\) or down to \(2d^{2}\)) may not have a significant impact.
* GatedMLP 아키텍처는 모델의 학습 속도를 _저하시킵니다_, 그리고 이를 사용할 때 훈련이 덜 안정적임을 관찰했습니다.27 각주 27: 예를 들어, 100M보다 작은 LLaMA/Mistral 모델의 경우 혼합 정밀도 fp16 훈련이 때때로 실패할 수 있습니다. 따라서 우리는 대신 혼합 정밀도 bf16을 사용합니다. 반면에, 최대 1B의 GPT2 모델은 fp16으로 훈련할 수 있습니다. * MLP 레이어를 완전히 제거하면 모델의 학습 속도가 _저하되지만_, MLP 레이어의 크기를 조정하는 것(예: \(8d^{2}\)에서 \(10.5d^{2}\) 또는 \(2d^{2}\)로 줄이는 것)은 큰 영향을 미치지 않을 수 있습니다.
* 게이트드MLP 아키텍처는 모델의 학습 속도를 _느리게_ 하며, 이를 사용하면 훈련이 덜 안정적으로 진행되는 것을 관찰할 수 있습니다.27 각주 27: 예를 들어, 1억 개 미만의 LLaMA/Mistral 모델의 경우 혼합 정밀도 fp16 훈련이 실패할 수 있으므로 혼합 정밀도 bf16을 대신 사용합니다. 반대로 GPT2 모델은 최대 1B까지 fp16으로 훈련할 수 있습니다. * MLP 레이어를 완전히 제거하면 모델의 학습 속도가 _느려지지만, MLP 레이어의 크기를 조정(예: \(8d^{2}\)에서 \(10.5d^{2}\) 또는 \(2d^{2}\)로 줄이기)하면 큰 영향을 미치지 않을 수 있습니다.