In Figure 3 we directly inspect this model's final hidden activation vector across \(10,000\) different model queries and perform SVD of the resulting activation matrix. We see that despite GPT-2 actually having 768 potential hidden neurons, there are only \(757\) different activation directions. Thus, while this model is _technically_ a 768 dimensional model, in practice it behaves as if it was a 757 (i.e, the rank of the embedding matrix is 757) dimensional model, and our attack has recovered this effective size.
그림 3에서 우리는 \(10,000\)개의 서로 다른 모델 쿼리를 통해 이 모델의 최종 숨겨진 activation 벡터를 직접 검사하고 결과 activation 행렬의 SVD를 수행합니다. GPT-2의 잠재적 숨겨진 뉴런이 실제로 768개임에도 불구하고 activation 방향이 \(757\)개밖에 없음을 알 수 있습니다. 따라서 이 모델은 _기술적으로_ 768차원 모델이지만 실제로는 757차원(즉, embedding 행렬의 순위는 757) 모델로 동작하며, 우리의 공격은 이러한 효과적인 크기를 복구했습니다.
그림 3에서 우리는 \(10,000\)개의 서로 다른 모델 쿼리를 통해 이 모델의 최종 숨겨진 활성화 벡터를 직접 검사하고 결과 활성화 행렬의 SVD를 수행합니다. GPT-2의 잠재적 숨겨진 뉴런이 실제로 768개임에도 불구하고 활성화 방향이 \(757\)개밖에 없음을 알 수 있습니다. 따라서 이 모델은 _기술적으로_ 768차원 모델이지만 실제로는 757차원(즉, 임베딩 행렬의 순위는 757) 모델로 동작하며, 우리의 공격은 이러한 효과적인 크기를 복구했습니다.