In this section we offer another approach to extracting log probabilities when the API offers access to the probabilities of the top 2 most likely words. At a high level, to find the probability of a word in the original distribution, we first find a logit bias that makes that word most likely. We then use the change in probability of the most likely word to compute the normalizing constant of the original distribution, and use that to find the probability of the word of interest.
이 섹션에서는 API가 가장 가능성이 높은 상위 2개 단어의 확률에 대한 액세스를 제공할 때 log 확률을 추출하는 또 다른 접근 방식을 제공합니다. 높은 수준에서 원래 분포에서 단어의 확률을 찾으려면 먼저 해당 단어가 가장 가능성이 높도록 하는 logit bias를 찾습니다. 그런 다음 가장 가능성이 높은 단어의 확률 변화를 사용하여 원래 분포의 정규화 상수를 계산하고 이를 사용하여 관심 단어의 확률을 찾습니다.
이 섹션에서는 API가 가장 가능성이 높은 상위 2개 단어의 확률에 대한 액세스를 제공할 때 로그 확률을 추출하는 또 다른 접근 방식을 제공합니다. 높은 수준에서 원래 분포에서 단어의 확률을 찾으려면 먼저 해당 단어가 가장 가능성이 높도록 하는 로짓 바이어스를 찾습니다. 그런 다음 가장 가능성이 높은 단어의 확률 변화를 사용하여 원래 분포의 정규화 상수를 계산하고 이를 사용하여 관심 단어의 확률을 찾습니다.