**Method:** Let \(\mathbf{Q}\) be as defined in Algorithm 1. Now rewrite \(\mathbf{Q}=\mathbf{U}\cdot\mathbf{\Sigma}\cdot\mathbf{V}^{\top}\) with SVD. Previously we saw that the number of large enough singular values corresponded to the dimension of the model. But it turns out that the matrix \(\mathbf{U}\) actually directly represents (a rotation of) the final layer! Specifically, we can show that \(\mathbf{U}\cdot\mathbf{\Sigma}=\mathbf{W}\cdot\mathbf{G}\) for some \(h\times h\) matrix \(\mathbf{G}\) in the following lemma.
**Method:** Algorithm 1에서 정의된 \(\mathbf{Q}\)를 사용합니다. 이제 \(\mathbf{Q}=\mathbf{U}\cdot\mathbf{\Sigma}\cdot\mathbf{V}^{\top}\)를 SVD로 다시 작성합니다. 이전에 큰 특이값의 수가 모델의 차원에 해당한다는 것을 보았습니다. 그러나 실제로 \(\mathbf{U}\) 행렬이 최종 레이어를 직접적으로 나타낸다는 것이 밝혀졌습니다! 구체적으로, 다음의 레마에서 \(h\times h\) 행렬 \(\mathbf{G}\)에 대해 \(\mathbf{U}\cdot\mathbf{\Sigma}=\mathbf{W}\cdot\mathbf{G}\)임을 보일 수 있습니다.
**방법:** 알고리즘 1에 정의된 대로 \(\mathbf{Q}\)를 정의합니다. 이제 SVD로 \(\mathbf{Q}=\mathbf{U}\cdot\mathbf{\Sigma}\cdot\mathbf{V}^{\top}\)를 다시 작성합니다. 이전에는 충분히 큰 특이값의 수가 모델의 차원에 해당한다는 것을 보았습니다. 그러나 \(\mathbf{U}\) 행렬이 실제로 최종 레이어를 직접 나타냅니다! 구체적으로, 다음 정리에서 \(h\times h\) 행렬 \(\mathbf{G}\)에 대해 \(\mathbf{U}\cdot\mathbf{\Sigma}=\mathbf{W}\cdot\mathbf{G}\)임을 보여줄 수 있습니다.