Contributions.We introduce an attack that can be applied to black-box language models, and allows us to recover the complete _embedding projection layer_ of a transformer language model. Our attack departs from prior approaches that reconstruct a model in a _bottom-up_ fashion, starting from the input layer. Instead, our attack operates _top-down_ and directly extracts the model's last layer. Specifically, we exploit the fact that the final layer of a language model projects from the hidden dimension to a (higher dimensional) logit vector. This final layer is thus low-rank, and by making targeted queries to a model's API, we can extract its embedding dimension or its final weight matrix.
기여. 우리는 블랙박스 언어 모델에 적용할 수 있는 공격을 소개하고, Transformer 언어 모델의 전체 _embedding projection layer_를 복구할 수 있습니다. 우리의 공격은 입력 레이어에서 시작하여 _bottom-up_ 방식으로 모델을 재구성하는 기존 접근 방식에서 벗어납니다. 대신, 우리의 공격은 _top-down_으로 작동하며 모델의 마지막 레이어를 직접 추출합니다. 특히, 언어 모델의 마지막 레이어가 숨겨진 차원에서 (고차원) logit 벡터로 투영한다는 사실을 활용합니다. 따라서 이 최종 레이어는 낮은 순위이며, 모델의 API에 대상 쿼리를 수행하여 embedding 차원 또는 최종 weight matrix를 추출할 수 있습니다.
기여.우리는 블랙박스 언어 모델에 적용할 수 있는 공격을 소개하고, 트랜스포머 언어 모델의 전체 _임베딩 투영 레이어_를 복구할 수 있습니다. 우리의 공격은 입력 레이어에서 시작하여 _상향식_ 방식으로 모델을 재구성하는 기존 접근 방식에서 벗어납니다. 대신, 우리의 공격은 _하향식_으로 작동하며 모델의 마지막 레이어를 직접 추출합니다. 특히, 언어 모델의 마지막 레이어가 숨겨진 차원에서 (고차원) 로짓 벡터로 투영한다는 사실을 활용합니다. 따라서 이 최종 레이어는 낮은 순위이며, 모델의 API에 대상 쿼리를 수행하여 임베딩 차원 또는 최종 가중치 행렬을 추출할 수 있습니다.