The LayerNorm operation is the composition of a centering operation \(x\mapsto x-\bar{x}\) with RMSNorm (i.e. first centering is applied, then RMSNorm). Therefore the identical argument to Appendix C.4 goes through, besides the fact that we need \(\mathbf{U}\) to also commute with the centering operation. Since the centering operation fixes a \((h-1)\) dimensional subspace defined by \(\mathbf{1}^{T}x=0\) where \(\mathbf{1}\in\mathds{R}^{h}\) is the vector of ones, it is enough to impose an additional condition that \(\mathbf{U}\,\mathbf{1}\in\{-\mathbf{1},\mathbf{1}\}\).
LayerNorm 연산은 RMSNorm과 함께 중심화 연산 \(x\mapsto x-\bar{x}\)의 조합입니다 (즉, 먼저 중심화가 적용되고, 그 다음 RMSNorm이 적용됩니다). 따라서 Appendix C.4와 동일한 논리가 적용되며, 우리는 \(\mathbf{U}\)가 중심화 연산과도 교환 가능해야 한다는 사실을 제외하고는 동일합니다. 중심화 연산은 \(\mathbf{1}^{T}x=0\)으로 정의된 \((h-1)\) 차원의 부분 공간을 고정하므로, \(\mathbf{1}\in\mathds{R}^{h}\)가 모든 요소가 1인 벡터일 때, \(\mathbf{U}\,\mathbf{1}\in\{-\mathbf{1},\mathbf{1}\}\)이라는 추가 조건을 부과하는 것으로 충분합니다.
LayerNorm 연산은 중심 연산 \(x\mapsto x-\bar{x}\)와 RMSNorm(즉, 먼저 중심을 적용한 다음 RMSNorm)의 구성입니다. 따라서 부록 C.4와 동일한 인수가 적용되며, 중심 연산과 통근하는 \(\mathbf{U}\)가 필요하다는 사실 외에는 부록 C.4와 동일한 인수가 적용됩니다. 중심 연산은 \(\mathbf{1}^{T}x=0\)으로 정의되는 \((h-1)\) 차원의 부분 공간을 수정하므로, \(\mathbf{U}\,\mathbf{1}\in\{-\mathbf{1},\mathbf{1}\}\)라는 추가 조건을 부과하면 충분합니다.