**Method.** At first it may seem impossible to be able to learn any information about a token \(t\) if it is not already the most likely token. However, note that if we query the model twice, once without any logit bias, and once with a logit bias of \(-1\) for token \(t\), then the top token will be _slightly_ more likely with a bias of \(-1\), with exactly how slight depending on the _value_ of token \(t\)'s logprob. Specifically, in Appendix D we show the logprob equals \((\nicefrac{{1}}{{e}}-1)^{-1}(\exp(y_{\text{top}}-y^{\prime}_{\text{top}})-1)\) where \(y_{\text{top}}\) and \(y^{\prime}_{\text{top}}\) are the logprobs of the most likely token when querying with logit bias of \(0\) and \(-1\).
**방법**. 처음에는 토큰 \(t\)가 이미 가장 가능성이 높은 토큰이 아닌 경우 해당 토큰에 대한 정보를 학습할 수 없다고 생각할 수 있습니다. 그러나 모델을 두 번 쿼리하는 경우, 한 번은 logit bias 없이, 한 번은 토큰 \(t\)에 대해 logit bias \(-1\)로 쿼리하면, bias가 \(-1\)인 경우 상위 토큰이 약간 더 가능성이 높아지며, 정확히 얼마나 약간인지는 토큰 \(t\)의 logprob의 _값_에 따라 달라집니다. 구체적으로, 부록 D에서는 logprob이 \((\nicefrac{{1}}{{e}}-1)^{-1}(\exp(y_{\text{top}}-y^{\prime}_{\text{top}})-1)\)와 같다는 것을 보여주며, 여기서 \(y_{\text{top}}\)와 \(y^{\prime}_{\text{top}}\)는 logit bias가 \(0\) 및 \(-1\)인 경우 가장 가능성이 높은 토큰의 logprob입니다.
**방법**. 처음에는 토큰 \(t\)가 이미 가장 가능성이 높은 토큰이 아닌 경우 해당 토큰에 대한 정보를 학습할 수 없다고 생각할 수 있습니다. 그러나 모델을 두 번 쿼리하는 경우, 한 번은 로짓 바이어스 없이, 한 번은 토큰 \(t\)에 대해 로짓 바이어스 \(-1\)로 쿼리하면, 바이어스가 \(-1\)인 경우 상위 토큰이 약간 더 가능성이 높아지며, 정확히 얼마나 약간인지는 토큰 \(t\)의 로그 확률의 _값_에 따라 달라집니다. 구체적으로, 부록 D에서는 로그 확률이 \((\nicefrac{{1}}{{e}}-1)^{-1}(\exp(y_{\text{top}}-y^{\prime}_{\text{top}})-1)\)와 같다는 것을 보여주며, 여기서 \(y_{\text{top}}\)와 \(y^{\prime}_{\text{top}}\)는 로짓 바이어스가 \(0\) 및 \(-1\)인 경우 가장 가능성이 높은 토큰의 로그 확률입니다.