Figure 7: On the left, we plot the singular values that are extracted using our attack on GPT-2 small—the estimated hidden dimension is near 768. On the right, we post-hoc extend the dimensionality of the weight matrix to 1024, as described in Section 8. This misleads the adversary into thinking the model is wider than it actually is.
그림 7: 왼쪽에는 GPT-2 small에 대한 공격을 사용하여 추출한 singular values를 플롯한 것으로, 추정된 hidden dimension은 768에 가깝습니다. 오른쪽에서는 Section 8에서 설명한 대로 weight matrix의 dimensionality를 1024로 사후 확장합니다. 이렇게 하면 adversary가 모델이 실제보다 더 넓다고 생각하게 됩니다.
그림 7: 왼쪽에는 GPT-2 small에 대한 공격을 사용하여 추출한 특이값을 플롯한 것으로, 추정된 숨겨진 차원은 768에 가깝습니다. 오른쪽에서는 섹션 8에서 설명한 대로 가중치 행렬의 차원을 1024로 사후 확장합니다. 이렇게 하면 모델이 실제보다 더 넓다고 생각하게 됩니다.