An improved cost-optimal attack.It is possible to generalize the above attack to improve _both_ the query cost and token cost. Instead of issuing queries to the model that reveal 4 or 5 logit values for a single generated token, we might instead hope to be able to send a multi-token query \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\dots p_{n}\end{bmatrix}\) and then ask for the logprob vector for each prefix of the prompt \(\begin{bmatrix}p_{0}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\end{bmatrix}\) etc. OpenAI's API did allow for queries of this form in the past, by providing logprobs for _prompt_ tokens as well as generated tokens by combining the logprob and echo parameters; this option has since been removed.
비용 최적화 공격 개선. 위의 공격을 일반화하여 query 비용과 token 비용을 모두 개선할 수 있습니다. 단일 생성 token에 대해 4개 또는 5개의 logit 값을 드러내는 query를 모델에 보내는 대신, 다중 token query \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\dots p_{n}\end{bmatrix}\)를 보낸 다음 prompt의 각 접두사에 대한 logprob 벡터를 요청할 수 있습니다. \(\begin{bmatrix}p_{0}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\end{bmatrix}\) 등. 과거에는 logprob 및 echo 매개변수를 결합하여 생성된 token뿐만 아니라 _prompt_ token에 대한 logprob을 제공함으로써 이러한 형식의 query를 허용했지만, 이 기능은 현재 제거되었습니다.
비용 최적화 공격 개선.위의 공격을 일반화하여 쿼리 비용과 토큰 비용을 모두 개선할 수 있습니다. 단일 생성 토큰에 대해 4개 또는 5개의 로짓 값을 드러내는 쿼리를 모델에 보내는 대신, 다중 토큰 쿼리 \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\dots p_{n}\end{bmatrix}\)를 보낸 다음 프롬프트의 각 접두사에 대한 로그 확률 벡터를 요청할 수 있습니다. \(\begin{bmatrix}p_{0}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}\end{bmatrix}\), \(\begin{bmatrix}p_{0}&p_{1}&p_{2}\end{bmatrix}\) 등. 과거에는 로그 확률 및 에코 매개변수를 결합하여 생성된 토큰뿐만 아니라 _프롬프트_ 토큰에 대한 로그 확률을 제공함으로써 이러한 형식의 쿼리를 허용했지만, 이 기능은 현재 제거되었습니다.