**Model stealing.** As language models become more and more valuable, they are hidden behind increasingly stringent safeguards. Research into'model stealing' aims to explore how models themselves can be replicated via API queries (Tramer et al., 2016). Stealing NLP models has been demonstrated in many domains: linear text-based classification (Lowd and Meek, 2005), language classification (Pal et al., 2019; Krishna et al., 2020), machine translation Wallace et al. (2021), and even text retreival (Dziedzic et al., 2023). Recent work Gudibande et al. (2023) suggests that this form of imitation may create models that replicate surface-level syntax but do not learn more complex attributes like knowledge or factuality. Different than these works, we do not focus on reconstructing model weights from third-party model outputs, but finding a hidden prompt from outputs of a third-party model.
**Model stealing.** 언어 모델이 점점 더 가치가 높아짐에 따라 점점 더 엄격한 보안 조치가 뒤에 숨겨져 있습니다. 'Model stealing'에 대한 연구는 API 쿼리를 통해 모델 자체를 복제하는 방법을 탐구하는 것을 목표로 합니다(Tramer et al., 2016). NLP 모델 도용은 많은 영역에서 입증되었습니다: 선형 텍스트 기반 분류(Lowd and Meek, 2005), 언어 분류(Pal et al., 2019; Krishna et al., 2020), 기계 번역(Wallace et al., 2021), 심지어 텍스트 검색(Dziedzic et al., 2023)까지입니다. 최근 연구인 Gudibande et al. (2023)에 따르면 이러한 형태의 모방은 표면적인 수준의 구문을 복제하는 모델을 만들 수 있지만 지식이나 사실성과 같은 더 복잡한 속성은 학습하지 못하는 것으로 나타났습니다. 이러한 연구와는 달리 저희는 타사 모델의 출력에서 모델 가중치를 재구성하는 데 초점을 맞추지 않고 타사 모델의 출력에서 숨겨진 프롬프트를 찾는 데 중점을 둡니다.
**모델 도용.** 언어 모델이 점점 더 가치가 높아짐에 따라 점점 더 엄격한 보안 조치가 뒤에 숨겨져 있습니다. '모델 도용'에 대한 연구는 API 쿼리를 통해 모델 자체를 복제하는 방법을 탐구하는 것을 목표로 합니다(Tramer et al., 2016). NLP 모델 도용은 많은 영역에서 입증되었습니다: 선형 텍스트 기반 분류(Lowd and Meek, 2005), 언어 분류(Pal et al., 2019; Krishna et al., 2020), 기계 번역(Wallace et al., 2021), 심지어 텍스트 검색(Dziedzic et al., 2023)까지입니다. 최근 연구인 Gudibande et al. (2023)에 따르면 이러한 형태의 모방은 표면적인 수준의 구문을 복제하는 모델을 만들 수 있지만 지식이나 사실성과 같은 더 복잡한 속성은 학습하지 못하는 것으로 나타났습니다. 이러한 연구와는 달리 저희는 타사 모델의 출력에서 모델 가중치를 재구성하는 데 초점을 맞추지 않고 타사 모델의 출력에서 숨겨진 프롬프트를 찾는 데 중점을 둡니다.