Different open-source and proprietary LLMs offer APIs with varying capabilities, which impact the ability to perform model extraction attacks and the choice of attack algorithm. A summary of the different APIs we study, and our motivation for doing so, is presented in Table 1. The logits API is a strawman threat model where the API provides logits for all tokens in the response to a given prompt. We begin with this toy setting, as the attack techniques we develop here can be reused in subsequent sections, where we will first reconstruct the logits from more limited information (e.g., log-probabilities for only the top few tokens) and then run the attack.
다양한 오픈 소스 및 독점 LLM은 다양한 기능을 갖춘 API를 제공하며, 이는 모델 추출 공격을 수행하는 능력과 공격 알고리즘의 선택에 영향을 미칩니다. 우리가 연구하는 다양한 API와 그 연구 동기를 요약하면 표 1과 같습니다. logits API는 주어진 프롬프트에 대한 응답의 모든 토큰에 대해 logits을 제공하는 strawman 위협 모델입니다. 여기서 개발한 공격 기법을 재사용할 수 있는 후속 섹션에서 먼저 더 제한된 정보(예: 상위 몇 개의 토큰에 대한 log-probabilities)에서 logits을 재구성한 다음 공격을 실행할 것이므로 이 toy 설정부터 시작하겠습니다.
다양한 오픈 소스 및 독점 LLM은 다양한 기능을 갖춘 API를 제공하며, 이는 모델 추출 공격을 수행하는 능력과 공격 알고리즘의 선택에 영향을 미칩니다. 우리가 연구하는 다양한 API와 그 연구 동기를 요약하면 표 1과 같습니다. 로짓 API는 주어진 프롬프트에 대한 응답의 모든 토큰에 대해 로짓을 제공하는 스트로우맨 위협 모델입니다. 여기서 개발한 공격 기법을 재사용할 수 있는 후속 섹션에서 먼저 더 제한된 정보(예: 상위 몇 개의 토큰에 대한 로그 확률)에서 로짓을 재구성한 다음 공격을 실행할 것이므로 이 장난감 설정부터 시작하겠습니다.