Now, it is only possible to view logprobs of _generated_ tokens. And since only the very last token is generated, we can only view four logprobs for this single longer query. This, however, presents a potential approach to reduce the query and token cost: if there were some way to cause the model to emit a specific sequence of tokens \(\begin{bmatrix}p_{n+1}&p_{n+2}&\dots&p_{n+m}\end{bmatrix}\), then we could inspect the logprob vector of each generated token.
이제 _생성된_ 토큰의 logprobs를 볼 수 있을 뿐입니다. 그리고 마지막 토큰만 생성되므로 이 하나의 더 긴 쿼리에 대해 4개의 logprobs만 볼 수 있습니다. 그러나 이는 쿼리 및 토큰 비용을 줄일 수 있는 잠재적인 접근 방식을 제시합니다. 모델이 특정 토큰 시퀀스 \(\begin{bmatrix}p_{n+1}&p_{n+2}&\dots&p_{n+m}\end{bmatrix}\), 즉 특정 토큰 시퀀스를 생성하도록 하는 방법이 있다면 생성된 각 토큰의 logprob 벡터를 검사할 수 있습니다.
이제 _생성된_ 토큰의 로그 확률을 볼 수 있을 뿐입니다. 그리고 마지막 토큰만 생성되므로 이 하나의 더 긴 쿼리에 대해 4개의 로그 확률만 볼 수 있습니다. 그러나 이는 쿼리 및 토큰 비용을 줄일 수 있는 잠재적인 접근 방식을 제시합니다. 모델이 특정 토큰 시퀀스 \(\begin{bmatrix}p_{n+1}&p_{n+2}&\dots&p_{n+m}\end{bmatrix}\), 즉 특정 토큰 시퀀스를 생성하도록 하는 방법이 있다면 생성된 각 토큰의 로그 확률 벡터를 검사할 수 있습니다.