\(\bullet\)_Post-LN._ Post-LN is used in the vanilla Transformer [22], which is placed between residual blocks. However, existing work has found that the training of Transformers with post-LN tends to be instable due to the large gradients near the output layer [267]. Thus, post-LN is rarely employed in existing LLMs except combined with other strategies (_e.g.,_ combining post-LN with pre-LN in GLM-130B [93]).
\(\bullet\)_Post-LN._ Post-LN은 레지듀얼 블록 사이에 배치되는 바닐라 Transformer [22]에서 사용됩니다. 그러나 기존 연구에 따르면 출력 레이어 근처에서 큰 기울기로 인해 Post-LN을 사용한 Transformer의 훈련이 불안정한 경향이 있습니다 [267]. 따라서 기존 LLM에서는 다른 전략과 결합하지 않는 한 Post-LN이 거의 사용되지 않습니다(_예:_ GLM-130B [93]에서 Post-LN과 Pre-LN을 결합하는 경우).
\(\bullet\)_Post-LN._ Post-LN은 레지듀얼 블록 사이에 배치되는 바닐라 트랜스포머 [22]에서 사용됩니다. 그러나 기존 연구에 따르면 출력 레이어 근처에서 큰 기울기로 인해 포스트 LN을 사용한 트랜스포머의 훈련이 불안정한 경향이 있습니다 [267]. 따라서 기존 LLM에서는 다른 전략과 결합하지 않는 한 포스트 LN이 거의 사용되지 않습니다(_예:_ GLM-130B [93]에서 포스트 LN과 프리 LN을 결합하는 경우).