these weights to be small enough to not materially affect the model's predictions, while also being large enough to look realistic. Then, during the model's forward pass, we concatenate a vector of random Gaussian noise to the final hidden vector \(g_{\theta}(p)\) before multiplying by \(\mathbf{W}\). Figure 7 shows an example of this, where we expand GPT-2 small to appear as if it was 1024 dimensional instead of 768 dimensions. This misleads the adversary into thinking that the model is wider than it actually is.
이러한 가중치는 모델의 예측에 큰 영향을 미치지 않을 정도로 작으면서도 사실적으로 보일 정도로 충분히 커야 합니다. 그런 다음 모델의 forward pass 중에 최종 숨겨진 벡터 \(g_{\theta}(p)\)에 임의의 Gaussian noise 벡터를 연결한 다음 \(\mathbf{W}\)를 곱합니다. 그림 7은 GPT-2 small을 768차원이 아닌 1024차원처럼 보이도록 확장한 예시입니다. 이렇게 하면 adversary가 모델이 실제보다 더 넓다고 착각하게 됩니다.
이러한 가중치는 모델의 예측에 큰 영향을 미치지 않을 정도로 작으면서도 사실적으로 보일 정도로 충분히 커야 합니다. 그런 다음 모델의 순방향 패스 중에 최종 숨겨진 벡터 \(g_{\theta}(p)\)에 임의의 가우시안 노이즈 벡터를 연결한 다음 \(\mathbf{W}\)를 곱합니다. 그림 7은 GPT-2 small을 768차원이 아닌 1024차원처럼 보이도록 확장한 예시입니다. 이렇게 하면 적대자가 모델이 실제보다 더 넓다고 착각하게 됩니다.