We begin with a simpler case where \(g_{\theta}\) does not have residual connections but a fully connected (FC) final layer. In this case, for any invertible \(h\times h\) matrix \(\mathbf{S}\), we have that \(g_{\theta}\left(p\right)=\mathbf{S}_{g\theta^{\prime}}\left(p\right)\) where \(\theta^{\prime}\) is the same as \(\theta\) except that the weights of the final FC layer are pre-multiplied by \(\mathbf{S}^{-1}\). Hence, if \(g_{\theta}\) has a final FC layer, it is impossible to distinguish between the embedding projection layer \(\mathbf{W}\) acting on \(g_{\theta}\) and the embedding projection layer \(\mathbf{W}\cdot\mathbf{S}\) acting on \(g_{\theta^{\prime}}\), given access to the output of the API \(\mathcal{O}\) only.
먼저 \(g_{\theta}\)에 잔차 연결이 없고 fully connected (FC) 최종 레이어가 있는 더 간단한 경우부터 시작하겠습니다. 이 경우, 반전 가능한 \(h\times h\) 행렬 \(\mathbf{S}\)의 경우, \(g_{\theta}\left(p\right)=\mathbf{S}_{g\theta^{\prime}}\left(p\right)\)가 되며, 여기서 \(\theta^{\prime}\)는 최종 FC 레이어의 가중치가 \(\mathbf{S}^{-1}\)로 사전 곱해진 것을 제외하면 \(\theta\)와 동일합니다. 따라서 \(g_{\theta}\)에 최종 FC 레이어가 있는 경우, API \(\mathcal{O}\)의 출력에만 액세스할 수 있는 경우, \(g_{\theta}\)에 작용하는 embedding projection layer \(\mathbf{W}\)와 \(g_{\theta^{\prime}}\)에 작용하는 embedding projection layer \(\mathbf{W}\cdot\mathbf{S}\)를 구분할 수 없습니다.
먼저 \(g_{\theta}\)에 잔차 연결이 없고 완전히 연결된(FC) 최종 레이어가 있는 더 간단한 경우부터 시작하겠습니다. 이 경우, 반전 가능한 \(h\times h\) 행렬 \(\mathbf{S}\)의 경우, \(g_{\theta}\left(p\right)=\mathbf{S}_{g\theta^{\prime}}\left(p\right)\)가 되며, 여기서 \(\theta^{\prime}\)는 최종 FC 레이어의 가중치가 \(\mathbf{S}^{-1}\)로 사전 곱해진 것을 제외하면 \(\theta\)와 동일합니다. 따라서 \(g_{\theta}\)에 최종 FC 레이어가 있는 경우, API \(\mathcal{O}\)의 출력에만 액세스할 수 있는 경우, \(g_{\theta}\)에 작용하는 임베딩 투영 레이어 \(\mathbf{W}\)와 \(g_{\theta^{\prime}}\)에 작용하는 임베딩 투영 레이어 \(\mathbf{W}\cdot\mathbf{S}\)를 구분할 수 없습니다.