Stealing this layer is useful for several reasons. First, it reveals the _width_ of the transformer model, which is often correlated with its total parameter count. Second, it slightly reduces the degree to which the model is a complete "black-box", which so might be useful for future attacks. Third, while our attack recovers only a (relatively small) part of the entire model, the fact that it is at all possible to steal _any_ parameters of a production model is surprising, and raises concerns that extensions of this attack might be able to recover more information. Finally, recovering the model's last layer (and thus hidden dimension) may reveal more global information about the model, such as relative size differences between different models.
이 레이어를 훔치는 것은 여러 가지 이유로 유용합니다. 첫째, Transformer 모델의 _폭_을 알 수 있는데, 이는 종종 총 파라미터 수와 상관관계가 있습니다. 둘째, 모델이 완전한 '블랙박스'인 정도를 약간 낮춰 향후 공격에 유용할 수 있습니다. 셋째, 이 공격은 전체 모델의 (상대적으로 작은) 일부만 복구하지만, 프로덕션 모델의 _모든_ 파라미터를 훔칠 수 있다는 사실은 놀랍고, 이 공격의 확장으로 더 많은 정보를 복구할 수 있을지도 모른다는 우려를 불러일으킵니다. 마지막으로, 모델의 마지막 레이어(따라서 숨겨진 차원)를 복구하면 다른 모델 간의 상대적인 크기 차이와 같은 모델에 대한 더 많은 전역 정보를 알 수 있습니다.
이 레이어를 훔치는 것은 여러 가지 이유로 유용합니다. 첫째, 트랜스포머 모델의 _폭_을 알 수 있는데, 이는 종종 총 파라미터 수와 상관관계가 있습니다. 둘째, 모델이 완전한 '블랙박스'인 정도를 약간 낮춰 향후 공격에 유용할 수 있습니다. 셋째, 이 공격은 전체 모델의 (상대적으로 작은) 일부만 복구하지만, 프로덕션 모델의 _모든_ 파라미터를 훔칠 수 있다는 사실은 놀랍고, 이 공격의 확장으로 더 많은 정보를 복구할 수 있을지도 모른다는 우려를 불러일으킵니다. 마지막으로, 모델의 마지막 레이어(따라서 숨겨진 차원)를 복구하면 다른 모델 간의 상대적인 크기 차이와 같은 모델에 대한 더 많은 전역 정보를 알 수 있습니다.