In this paper, we focus on high-fidelity attacks. Most prior high-fidelity attacks exploit specific properties of deep neural networks with ReLU activations. Milli et al. (2019) first showed that if an attacker can compute _gradients_ of a target two-layer ReLU model, then they can steal a nearly bit-for-bit equivalent model. Jagielski et al. (2020) observed that if the attacker only has query access to model outputs, they can approximate gradients with finite differences. Subsequent work extended these attacks to efficiently extract deeper ReLU models (Carlini et al., 2020; Rolnick and Kording, 2020; Shamir et al., 2023). Unfortunately, none of these approaches scale to production language models, because they (1) accept tokens as inputs (and so performing finite differences is intractable); (2) use activations other than ReLUs; (3) contain architectural components such as attention, layer normalization, residual connections, etc. that current attacks cannot handle; (4) are orders-of-magnitude larger than prior extracted models; and (5) expose only limited-precision outputs.
이 백서에서는 고충실도 공격에 초점을 맞춥니다. 대부분의 기존 고충실도 공격은 ReLU 활성화 기능을 사용하는 심층 신경망의 특정 속성을 악용합니다. Milli 외(2019)는 먼저 공격자가 대상 2층 ReLU 모델의 _gradients_를 계산할 수 있다면 거의 비트 단위로 동등한 모델을 훔칠 수 있다는 것을 보여주었습니다. Jagielski 외(2020)는 공격자가 모델 출력에 대한 쿼리 액세스 권한만 있는 경우 유한 차분으로 gradients를 근사화할 수 있다는 것을 관찰했습니다. 이후 연구에서는 이러한 공격을 확장하여 더 깊은 ReLU 모델을 효율적으로 추출했습니다(Carlini 외., 2020; Rolnick과 Kording, 2020; Shamir 외., 2023). 안타깝게도 이러한 접근 방식은 (1) 토큰을 입력으로 받아들이기 때문에 유한 차분을 수행할 수 없고, (2) ReLU 이외의 활성화를 사용하며, (3) 현재 공격이 처리할 수 없는 attention, layer normalization, residual connections 등과 같은 아키텍처 구성 요소를 포함하고, (4) 이전 추출 모델보다 몇 배나 크며, (5) 제한된 정밀도의 출력만 노출하기 때문에 프로덕션 언어 모델로 확장할 수 없습니다.
이 백서에서는 고충실도 공격에 초점을 맞춥니다. 대부분의 기존 고충실도 공격은 ReLU 활성화 기능을 사용하는 심층 신경망의 특정 속성을 악용합니다. Milli 외(2019)는 먼저 공격자가 대상 2층 ReLU 모델의 _그라디언트_를 계산할 수 있다면 거의 비트 단위로 동등한 모델을 훔칠 수 있다는 것을 보여주었습니다. Jagielski 외(2020)는 공격자가 모델 출력에 대한 쿼리 액세스 권한만 있는 경우 유한 차분으로 그라디언트를 근사화할 수 있다는 것을 관찰했습니다. 이후 연구에서는 이러한 공격을 확장하여 더 깊은 ReLU 모델을 효율적으로 추출했습니다(Carlini 외., 2020; Rolnick과 Kording, 2020; Shamir 외., 2023). 안타깝게도 이러한 접근 방식은 (1) 토큰을 입력으로 받아들이기 때문에 유한 차분을 수행할 수 없고, (2) ReLU 이외의 활성화를 사용하며, (3) 현재 공격이 처리할 수 없는 주의, 레이어 정규화, 잔여 연결 등과 같은 아키텍처 구성 요소를 포함하고, (4) 이전 추출 모델보다 몇 배나 크며, (5) 제한된 정밀도의 출력만 노출하기 때문에 프로덕션 언어 모델로 확장할 수 없습니다.