For a simple test, we quantize Llama-7B at both 8-bits and 4-bits, and compare our baseline attack (Section 4.1) to the default 16-bit implementation. We quantize using bitsandbytes(Dettmers et al., 2022), which HuggingFace supports for out-of-the-box quantization of model weights and lower-precision inference (Figure 6). We observe no meaningful differences at different levels of quantization; querying each model results in recovering the same same embedding matrix dimension \(h\) in the same number of queries. Given that 8-bit and 4-bit quantization are generally observed to not have a large impact on performance, this is perhaps an unsurprising result; any noise from quantization does not seem to have a meaningful impact on the logits (in the context of our attack).
간단한 테스트를 위해 Llama-7B를 8-bit와 4-bit로 Quantization하고 기본 16-bit 구현과 비교합니다(섹션 4.1). HuggingFace는 모델 가중치 및 저정밀도 추론의 기본 제공 Quantization을 지원하는 bitsandbytes(Dettmers et al., 2022)를 사용하여 Quantization합니다(그림 6). Quantization 수준에 따른 의미 있는 차이를 관찰할 수 없으며, 각 모델을 쿼리하면 동일한 수의 쿼리에서 동일한 임베딩 행렬 차원 \(h\)를 복구할 수 있습니다. 8-bit 및 4-bit Quantization는 일반적으로 성능에 큰 영향을 미치지 않는 것으로 관찰되기 때문에 이것은 놀라운 결과가 아닙니다. Quantization로 인한 노이즈가 logits에 의미 있는 영향을 미치지 않는 것으로 보입니다(공격의 맥락에서).
간단한 테스트를 위해 Llama-7B를 8비트와 4비트로 양자화하고 기본 16비트 구현과 비교합니다(섹션 4.1). HuggingFace는 모델 가중치 및 저정밀도 추론의 기본 제공 양자화를 지원하는 bitsandbytes(Dettmers et al., 2022)를 사용하여 양자화합니다(그림 6). 양자화 수준에 따른 의미 있는 차이를 관찰할 수 없으며, 각 모델을 쿼리하면 동일한 수의 쿼리에서 동일한 임베딩 행렬 차원 \(h\)를 복구할 수 있습니다. 8비트 및 4비트 양자화는 일반적으로 성능에 큰 영향을 미치지 않는 것으로 관찰되기 때문에 이것은 놀라운 결과가 아닙니다. 양자화로 인한 노이즈가 로짓에 의미 있는 영향을 미치지 않는 것으로 보입니다(공격의 맥락에서).