The method we presented earlier uses a reference token. We set this to some arbitrary value (e.g., 0) and then compare the logits for all other tokens to this one. This approach is numerically stable, but is slightly wasteful: of the top \(K\) logprobs returned by the API, one is always the reference token. Hence, we only recover \(K-1\) logits per query with this method.
앞서 설명한 방법은 reference token을 사용합니다. 이를 임의의 값(예: 0)으로 설정한 다음 다른 모든 토큰의 logits을 이 토큰과 비교합니다. 이 접근 방식은 수치적으로 안정적이지만 약간 낭비적입니다. API에서 반환하는 상위 \(K\) logprobs 중 하나는 항상 reference token입니다. 따라서 이 방법으로 쿼리당 \(K-1\) 개의 logits만 복구할 수 있습니다.
앞서 설명한 방법은 참조 토큰을 사용합니다. 이를 임의의 값(예: 0)으로 설정한 다음 다른 모든 토큰의 로짓을 이 토큰과 비교합니다. 이 접근 방식은 수치적으로 안정적이지만 약간 낭비적입니다. API에서 반환하는 상위 \(K\) 로그 확률 중 하나는 항상 기준 토큰입니다. 따라서 이 방법으로 쿼리당 \(K-1\) 개의 로짓만 복구할 수 있습니다.