We therefore propose a method for extracting next-token probabilities from APIs where the full probability distribution is not immediately available. We take advantage of the fact that even when API services do not return the full probabilities, they typically allow users to add a _logit bias_ to adjust the distribution. In addition to providing a logit bias per API call, they typically allow setting the temperature parameter to zero to provide argmax of the distribution.
따라서 전체 확률 분포를 즉시 사용할 수 없는 API에서 다음 토큰 확률을 추출하는 방법을 제안합니다. API 서비스가 전체 확률을 반환하지 않는 경우에도 일반적으로 사용자가 분포를 조정하기 위해 _logit bias_를 추가할 수 있다는 사실을 활용합니다. API 호출당 logit bias를 제공하는 것 외에도 일반적으로 temperature 매개 변수를 0으로 설정하여 분포의 argmax를 제공할 수 있습니다.
따라서 전체 확률 분포를 즉시 사용할 수 없는 API에서 다음 토큰 확률을 추출하는 방법을 제안합니다. API 서비스가 전체 확률을 반환하지 않는 경우에도 일반적으로 사용자가 분포를 조정하기 위해 _로그 비즈_를 추가할 수 있다는 사실을 활용합니다. API 호출당 로그 비즈를 제공하는 것 외에도 일반적으로 온도 매개 변수를 0으로 설정하여 분포의 아크 맥스를 제공할 수 있습니다.