which is identical to the original model. Applying this procedure to all layers added to the hidden state (using the different \(W\) diagonal matrices each time) gives us a model \(g_{\theta^{\prime}}(p)\) such that \(g_{\theta^{\prime}}(p)=\mathbf{U}g_{\theta^{\prime}}(p)\) so a different embedding projection matrix \(\mathbf{W}\mathbf{U}^{\top}\) will give identical outputs to the original model \(g_{\theta}(p)\) (with embedding projection \(\mathbf{W}\)).
원본 모델과 동일합니다. 이 절차를 숨겨진 상태에 추가된 모든 레이어에 적용하면(매번 다른 \(W\) 대각선 행렬을 사용) \(g_{\theta^{\prime}}(p)=\mathbf{U}g_{\theta^{\prime}}(p)\)가 되는 모델 \(g_{\theta^{\prime}}(p)\)가 되므로 다른 embedding projection matrix \(\mathbf{W}\mathbf{U}^{\top}\)가 embedding projection \(\mathbf{W}\)를 가진 원본 모델 \(g_{\theta}(p)\)와 동일한 출력을 제공하게 됩니다.
원본 모델과 동일합니다. 이 절차를 숨겨진 상태에 추가된 모든 레이어에 적용하면(매번 다른 \(W\) 대각선 행렬을 사용) \(g_{\theta^{\prime}}(p)=\mathbf{U}g_{\theta^{\prime}}(p)\)가 되는 모델 \(g_{\theta^{\prime}}(p)\)가 되므로 다른 임베딩 투영 행렬 \(\mathbf{W}\mathbf{U}^{\top}\)가 임베딩 투영 \(\mathbf{W}\)를 가진 원본 모델 \(g_{\theta}(p)\)와 동일한 출력을 제공하게 됩니다.