We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our attack recovers the _embedding projection layer_ (up to symmetries) of a transformer model, given typical API access. For under $20 USD, our attack extracts the entire projection matrix of OpenAI's ada and babbage language models. We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under $2,000 in queries to recover the entire projection matrix. We conclude with potential defenses and mitigations, and discuss the implications of possible future work that could extend our attack.
OpenAI의 ChatGPT 또는 Google의 PaLM-2와 같은 블랙박스 제작 언어 모델에서 정확하고 비삼차적인 정보를 추출하는 최초의 모델 도용 공격을 소개합니다. 특히, 이 공격은 일반적인 API 액세스가 주어지면 Transformer 모델의 _embedding projection layer_(대칭까지)를 복구합니다. 20달러 미만으로 OpenAI의 ada 및 babbage 언어 모델의 전체 projection matrix를 추출합니다. 이를 통해 이러한 블랙박스 모델에 각각 1024와 2048의 숨겨진 차원이 있다는 사실을 처음으로 확인했습니다. 또한 gpt-3.5-turbo 모델의 정확한 숨겨진 차원 크기를 복구하고 전체 projection matrix를 복구하는 데 2,000개 미만의 쿼리가 소요될 것으로 추정합니다. 잠재적인 방어 및 완화책으로 결론을 내리고, 향후 공격을 확장할 수 있는 가능한 작업의 의미에 대해 논의합니다.
OpenAI의 ChatGPT 또는 Google의 PaLM-2와 같은 블랙박스 제작 언어 모델에서 정확하고 비삼차적인 정보를 추출하는 최초의 모델 도용 공격을 소개합니다. 특히, 이 공격은 일반적인 API 액세스가 주어지면 트랜스포머 모델의 _임베딩 투영 레이어_(대칭까지)를 복구합니다. 20달러 미만으로 OpenAI의 아다 및 바빙 언어 모델의 전체 투영 행렬을 추출합니다. 이를 통해 이러한 블랙박스 모델에 각각 1024와 2048의 숨겨진 차원이 있다는 사실을 처음으로 확인했습니다. 또한 gpt-3.5-turbo 모델의 정확한 숨겨진 차원 크기를 복구하고 전체 투영 행렬을 복구하는 데 2,000개 미만의 쿼리가 소요될 것으로 추정합니다. 잠재적인 방어 및 완화책으로 결론을 내리고, 향후 공격을 확장할 수 있는 가능한 작업의 의미에 대해 논의합니다.