Recovery using Equation 9 is more efficient than the method in Section 5.3, as we recover \(K\) logits \(z_{i_{1}},z_{i_{2}},\cdots,z_{i_{K}}\) rather than just \(K-1\) logits. However, if \(B\) is large, numerical stability may be an issue. (And, if \(B\) is small, the logit bias may be insufficient to force the API to output the desired tokens by placing them in the top \(K\).) Specifically, as \(B\to\infty\), we have \((1-e^{-B})\sum_{j}^{K}\exp(a_{i_{j}}(z,b))\to 1\) and so the logarithm in Equation 9 tends to \(\log(1-1)=-\infty\); this means we may have catastrophic cancellation.
방정식 9를 사용한 복구는 단지 \(K-1\) logits이 아닌 \(K\) logits \(z_{i_{1}},z_{i_{2}},\cdots,z_{i_{K}}\)를 복구하므로 섹션 5.3의 방법보다 더 효율적입니다. 그러나 \(B\)가 크면 수치 안정성이 문제가 될 수 있습니다. (그리고 \(B\)가 작으면 logit bias가 API가 원하는 토큰을 상위 \(K\)에 배치하여 원하는 토큰을 출력하도록 강제하기에 충분하지 않을 수 있습니다.) 구체적으로, \(B\to\infty\)가 되면 \((1-e^{-B})\sum_{j}^{K}\exp(a_{i_{j}}(z,b))\to 1\)이 되므로 방정식 9의 로그가 \(\log(1-1)=-\infty\)로 변하는 경향이 있으며, 이는 치명적인 상쇄가 발생할 수 있음을 의미합니다.
방정식 9를 사용한 복구는 단지 \(K-1\) 로짓이 아닌 \(K\) 로짓 \(z_{i_{1}},z_{i_{2}},\cdots,z_{i_{K}}\)를 복구하므로 섹션 5.3의 방법보다 더 효율적입니다. 그러나 \(B\)가 크면 수치 안정성이 문제가 될 수 있습니다. (그리고 \(B\)가 작으면 로짓 바이어스가 API가 원하는 토큰을 상위 \(K\)에 배치하여 원하는 토큰을 출력하도록 강제하기에 충분하지 않을 수 있습니다.) 구체적으로, \(B\to\infty\)가 되면 \((1-e^{-B})\sum_{j}^{K}\exp(a_{i_{j}}(z,b))\to 1\)이 되므로 방정식 9의 로그가 \(\log(1-1)=-\infty\)로 변하는 경향이 있으며, 이는 치명적인 상쇄가 발생할 수 있음을 의미합니다.