One natural defense to our attacks is to obfuscate the logits by adding noise. This will naturally induce a tradeoff between utility and vulnerability--more noise will result in less useful outputs, but increase extraction difficulty. We empirically measure this tradeoff in Figure 5(c). We consider noise added directly to the logits, that is consistent between different queries of the same prompt. To simulate this, we directly add noise to our recovered logits, and recompute the extracted embedding matrix. For GPT-2, we measure the RMSE between the true embedding matrix and the embedding matrix extracted with a specific noise level; for ada and babbage, we measure the RMSE between the noisy extracted weights and the weights we extracted in the absence of noise. We normalize all embedding matrices (to have \(\ell_{2}\) norm 1) before measuring RMSE.
우리의 공격에 대한 자연스러운 방어책 중 하나는 노이즈를 추가하여 logits을 난독화하는 것입니다. 이렇게 하면 유용성과 취약성 사이에 자연스럽게 tradeoff가 발생하게 되는데, 노이즈가 많을수록 출력의 유용성은 떨어지지만 추출 난이도는 높아집니다. 이러한 tradeoff를 그림 5(c)에서 경험적으로 측정합니다. 여기서는 logits에 직접 추가되는 노이즈, 즉 동일한 prompt의 다른 쿼리 간에 일관된 노이즈를 고려합니다. 이를 시뮬레이션하기 위해 복구된 logits에 직접 노이즈를 추가하고 추출된 embedding matrix를 다시 계산합니다. GPT-2의 경우, 실제 embedding matrix와 특정 노이즈 수준으로 추출된 embedding matrix 간의 RMSE를 측정하고, ada 및 babbage의 경우 노이즈가 있는 추출된 가중치와 노이즈가 없는 상태에서 추출한 가중치 간의 RMSE를 측정합니다. RMSE를 측정하기 전에 모든 embedding matrix를 정규화하여 (\(\ell_{2}\) norm 1을 갖도록 합니다).
우리의 공격에 대한 자연스러운 방어책 중 하나는 노이즈를 추가하여 로짓을 난독화하는 것입니다. 이렇게 하면 유용성과 취약성 사이에 자연스럽게 트레이드오프가 발생하게 되는데, 노이즈가 많을수록 출력의 유용성은 떨어지지만 추출 난이도는 높아집니다. 이러한 트레이드오프를 그림 5(c)에서 경험적으로 측정합니다. 여기서는 로짓에 직접 추가되는 노이즈, 즉 동일한 프롬프트의 다른 쿼리 간에 일관된 노이즈를 고려합니다. 이를 시뮬레이션하기 위해 복구된 로짓에 직접 노이즈를 추가하고 추출된 임베딩 행렬을 다시 계산합니다. GPT-2의 경우, 실제 임베딩 행렬과 특정 노이즈 수준으로 추출된 임베딩 행렬 간의 RMSE를 측정하고, ada 및 babbage의 경우 노이즈가 있는 추출된 가중치와 노이즈가 없는 상태에서 추출한 가중치 간의 RMSE를 측정합니다. RMSE를 측정하기 전에 모든 임베딩 행렬을 정규화하여 (\ell_{2} 규범 1을 갖도록 합니다).