\(\bullet\)_Sandwich-LN_. Based on pre-LN, Sandwich-LN [255] adds extra LN before the residual connections to avoid the value explosion issues in Transformer layer outputs. However, it has been found that Sandwich-LN sometimes fails to stabilize the training of LLMs and may lead to the collapse of training [93].
\(\bullet\)_Sandwich-LN_. 사전 LN을 기반으로 하는 Sandwich-LN [255]은 Transformer 레이어 출력의 값 폭발 문제를 피하기 위해 잔여 연결 앞에 추가 LN을 추가합니다. 그러나 Sandwich-LN이 때때로 LLM의 훈련을 안정화하지 못하고 훈련이 붕괴될 수 있다는 사실이 밝혀졌습니다 [93].
\(\bullet\)_Sandwich-LN_. 사전 LN을 기반으로 하는 Sandwich-LN [255]은 트랜스포머 레이어 출력의 값 폭발 문제를 피하기 위해 잔여 연결 앞에 추가 LN을 추가합니다. 그러나 Sandwich-LN이 때때로 LLM의 훈련을 안정화하지 못하고 훈련이 붕괴될 수 있다는 사실이 밝혀졌습니다 [93].