We now extend to realistic models where the \(\varepsilon\) in the denominator of LayerNorm is not 0. We can do this because the only fact we used about \(x\mapsto n(x)\) was that \(x\mapsto n(\mathbf{U}x)\) was identical to \(x\mapsto\mathbf{U}n(x)\). In turn Lemma C.2 relied on \(||\mathbf{U}x||=||x||\) due to orthogonality. But adjusting \(n(x)\) to \(n^{\prime}(x):=x\bigg{/}\sqrt{\frac{1}{h}||x||^{2}+\varepsilon}\) (i.e. normalization with an epsilon), since \(||x||=||\mathbf{U}x||\), \(n^{\prime}\) commutes with \(\mathbf{U}\), and so the proofs in Appendix C.4 and Appendix C.5 still work when using \(n^{\prime}\) instead of \(n\).
이제 LayerNorm의 분모에 있는 \(\varepsilon\)이 0이 아닌 현실적인 모델로 확장합니다. \(x\mapsto n(x)\)에 대해 사용한 유일한 사실은 \(x\mapsto n(\mathbf{U}x)\)가 \(x\mapsto\mathbf{U}n(x)\)와 동일하다는 것이었습니다. 차례로 정리 C.2는 직교성으로 인해 \(||\mathbf{U}x||=||x||\)에 의존했습니다. 그러나 \(n(x)\)를 \(n^{\prime}(x):=x\bigg{/}\sqrt{\frac{1}{h}||x||^{2}+\varepsilon}\)로 조정하면(즉, epsilon을 사용한 정규화), \(||x||=||\mathbf{U}x||\), \(n^{\prime}\)는 \(\mathbf{U}\)와 통근하므로 부록 C.4와 부록 C.5의 증명은 \(n^{\prime}\)을 사용할 때도 여전히 유효합니다.
이제 LayerNorm의 분모에 있는 \(\바렙실론\)이 0이 아닌 현실적인 모델로 확장합니다. x\mapsto n(x)\)에 대해 사용한 유일한 사실은 \(x\mapsto n(\mathbf{U}x)\)가 \(x\mapsto\mathbf{U}n(x)\)와 동일하다는 것이었습니다. 차례로 정리 C.2는 직교성으로 인해 \(||\mathbf{U}x||=||x||\)에 의존했습니다. 그러나 \(n(x)\)를 \(n^{\prime}(x):=x\bigg{/}\sqrt{\frac{1}{h}||x||^{2}+\바렙실론}\)로 조정하면(즉, 엡실론을 사용한 정규화), \(||x||=||\mathbf{U}x||\), \(n^{\prime}\)는 \(\mathbf{U}\)와 통근하므로 부록 C.4와 부록 C.5의 증명은 \(n\).