Figure 6: In (a, b), recovering the embedding matrix dimension \(h\) for Llama-7B at different levels of precision: 16-bit (default), 8-bit, and 4-bit. We observe no meaningful differences, with respect to our attack, at different levels of quantization. In (c), the RMSE between extracted embeddings as a function of the standard deviation of Gaussian noise added to the logits.
그림 6: (a, b)에서 Llama-7B에 대한 embedding 행렬 차원 \(h\)를 다양한 수준의 정밀도(16-bit(기본), 8-bit, 4-bit)로 복구하는 경우. Quantization 수준에 따라서도 공격과 관련하여 의미 있는 차이를 관찰할 수 없습니다. (c)에서는 로짓에 추가된 가우시안 노이즈의 표준 편차의 함수로서 추출된 embedding 간의 RMSE를 보여줍니다.
그림 6: (a, b)에서 Llama-7B에 대한 임베딩 행렬 차원 \(h\)를 다양한 수준의 정밀도(16비트(기본), 8비트, 4비트)로 복구하는 경우. 양자화 수준에 따라서도 공격과 관련하여 의미 있는 차이를 관찰할 수 없습니다. (c)에서는 로짓에 추가된 가우시안 노이즈의 표준 편차의 함수로서 추출된 임베딩 간의 RMSE를 보여줍니다.