Our attack is effective and efficient, and is applicable to production models whose APIs expose full logprobs, or a "logit bias". This included Google's PaLM-2 and OpenAI's GPT-4 (Anil et al., 2023; OpenAI et al., 2023); after responsible disclosure, both APIs have implemented defenses to prevent our attack or make it more expensive. We extract the embedding layer of several OpenAI models with a mean squared error of \(10^{-4}\) (up to unavoidable symmetries). We apply a limited form of our attack to gpt-3.5 at a cost of under $200 USD and, instead of recovering the full embedding layer, recover just the size of the embedding dimension.
우리의 공격은 효과적이고 효율적이며, API가 전체 logprobs 또는 "logit bias"를 노출하는 프로덕션 모델에 적용할 수 있습니다. 여기에는 Google's PaLM-2와 OpenAI의 GPT-4(Anil et al., 2023; OpenAI et al., 2023)가 포함되었으며, 책임감 있는 공개 후 두 API 모두 우리의 공격을 방지하거나 더 많은 비용을 들이도록 방어 기능을 구현했습니다. 우리는 평균 제곱 오차가 \(10^{-4}\)인 여러 OpenAI 모델의 embedding layer를 추출합니다(피할 수 없는 대칭성까지 포함). 우리는 200달러 미만의 비용으로 GPT-3.5에 제한된 형태의 공격을 적용하고, 전체 embedding layer를 복구하는 대신 embedding dimension의 크기만 복구합니다.
우리의 공격은 효과적이고 효율적이며, API가 전체 로그프로브 또는 "로그 비즈"를 노출하는 프로덕션 모델에 적용할 수 있습니다. 여기에는 Google의 PaLM-2와 OpenAI의 GPT-4(Anil et al., 2023; OpenAI et al., 2023)가 포함되었으며, 책임감 있는 공개 후 두 API 모두 우리의 공격을 방지하거나 더 많은 비용을 들이도록 방어 기능을 구현했습니다. 우리는 평균 제곱 오차가 \(10^{-4}\)인 여러 OpenAI 모델의 임베딩 레이어를 추출합니다(피할 수 없는 대칭성까지 포함). 우리는 200달러 미만의 비용으로 gpt-3.5에 제한된 형태의 공격을 적용하고, 전체 임베딩 레이어를 복구하는 대신 임베딩 차원의 크기만 복구합니다.