Proving Lemma 4.2(ii) requires several steps due to the complexity of the transformer architecture: we progressively strengthen the proof to apply to models with no residual connections (C.1), models with residual connections (C.2), models with RMSNorm (C.4), LayerNorm (C.5) and normalization with an \(\varepsilon\) term (C.6).
Lemma 4.2(ii)를 증명하려면 Transformer 아키텍처의 복잡성으로 인해 여러 단계가 필요합니다. 잔차 연결이 없는 모델(C.1), 잔차 연결이 있는 모델(C.2), RMSNorm(C.4), LayerNorm(C.5) 및 \(\varepsilon\) 항이 있는 정규화(C.6)를 적용할 수 있도록 증명을 점진적으로 강화합니다.
레마 4.2(ii)를 증명하려면 트랜스포머 아키텍처의 복잡성으로 인해 여러 단계가 필요합니다. 잔차 연결이 없는 모델(C.1), 잔차 연결이 있는 모델(C.2), RMSNorm(C.4), LayerNorm(C.5) 및 \(\바렙실론\) 항이 있는 정규화(C.6)를 적용할 수 있도록 증명을 점진적으로 강화합니다.