**Normalization Methods.** Training instability is a challenging issue for pre-training LLMs. To alleviate this issue, normalization is a widely adopted strategy to stabilize the training of neural networks. In the vanilla Transformer [22], LayerNorm [256] is employed. Recently, several advanced normalization techniques have been proposed as alternatives to LayerNorm, _e.g._, RMSNorm, and DeepNorm.
**정규화 방법.** 사전 학습 LLM의 경우 훈련 불안정성은 까다로운 문제입니다. 이 문제를 완화하기 위해 정규화는 신경망의 훈련을 안정화하기 위해 널리 채택되는 전략입니다. 바닐라 Transformer[22]에서는 LayerNorm[256]이 사용됩니다. 최근에는 LayerNorm의 대안으로 RMSNorm, DeepNorm 등 몇 가지 고급 정규화 기법이 제안되었습니다.
**정규화 방법.** 사전 학습 LLM의 경우 훈련 불안정성은 까다로운 문제입니다. 이 문제를 완화하기 위해 정규화는 신경망의 훈련을 안정화하기 위해 널리 채택되는 전략입니다. 바닐라 트랜스포머[22]에서는 레이어노멀[256]이 사용됩니다. 최근에는 레이어노멀의 대안으로 RMSNorm, DeepNorm 등 몇 가지 고급 정규화 기법이 제안되었습니다.