Intuitively, the proof in Appendix C.2 relied on pre-multiplying the input projection weight of layers by a matrix \(\mathbf{S}^{-1}\), so that this cancelled the rotation \(\mathbf{S}\) applied to the model's hidden state (called the'residual stream' in mechanistic interpretability literature (Elhage et al., 2021)). Formally, if we let the input projection layer be \(\mathbf{M}\), we were using the fact that \(\left(\mathbf{MS}^{-1}\right)\left(\mathbf{S}x\right)=\mathbf{M}x\).
직관적으로, 부록 C.2의 증명은 계층의 입력 투영 가중치에 행렬 \(\mathbf{S}^{-1}\)을 곱하여 모델의 숨겨진 상태에 적용된 회전 \(\mathbf{S}\)를 상쇄하는 것(기계적 해석 가능성 문헌(Elhage et al., 2021)에서 'residual stream'이라고 함)에 의존했습니다. 공식적으로 입력 투영 계층을 \(\mathbf{M}\)이라고 하면, \(\left(\mathbf{MS}^{-1}\right)\left(\mathbf{S}x\right)=\mathbf{M}x\라는 사실을 사용하고 있었습니다.
직관적으로, 부록 C.2의 증명은 계층의 입력 투영 가중치에 행렬 \(\mathbf{S}^{-1}\)을 곱하여 모델의 숨겨진 상태에 적용된 회전 \(\mathbf{S}\)를 상쇄하는 것(기계적 해석 가능성 문헌(Elhage et al., 2021)에서 '잔차 스트림'이라고 함)에 의존했습니다. 공식적으로 입력 투영 계층을 \(\mathbf{M}\)이라고 하면, \(\left(\mathbf{MS}^{-1}\right)\left(\mathbf{S}x\right)=\mathbf{M}x\라는 사실을 사용하고 있었습니다.