\(\bullet\)_Pre-LN._ Different from post-LN, pre-LN [268] is applied before each sub-layer, and an additional LN is placed before the final prediction. Compared with post-LN, the Transformers with pre-LN are more stable in training. However, it performs worse than the variants with post-LN [269]. Despite the decreasing performance, most LLMs still adopt pre-LN due to the training stability. However, one exception is that pre-LN has been found unstable in GLM when training models more than 100B parameters [93].
\(\bullet\)_Pre-LN._ 사후 LN과 달리 pre-LN [268]은 각 하위 계층에 적용되며, 최종 예측 전에 추가 LN이 배치됩니다. 사후 LN과 비교하여 pre-LN이 있는 Transformer는 훈련이 더 안정적입니다. 그러나 사후 LN이 있는 변형보다 성능이 떨어집니다[269]. 성능이 저하되더라도 대부분의 LLM은 훈련 안정성 때문에 pre-LN을 채택합니다. 그러나 한 가지 예외적으로 GLM에서 100B 이상의 파라미터로 모델을 훈련할 때 pre-LN이 불안정한 것으로 밝혀졌습니다[93].
\(\bullet\)_Pre-LN._ 사후 LN과 달리 사전 LN [268]은 각 하위 계층에 적용되며, 최종 예측 전에 추가 LN이 배치됩니다. 사후 LN과 비교하여 사전 LN이 있는 트랜스포머는 훈련이 더 안정적입니다. 그러나 사후 LN이 있는 변형보다 성능이 떨어집니다[269]. 성능이 저하되더라도 대부분의 LLM은 훈련 안정성 때문에 사전 LN을 채택합니다. 그러나 한 가지 예외적으로 GLM에서 100B 이상의 파라미터로 모델을 훈련할 때 사전 LN이 불안정한 것으로 밝혀졌습니다[93].