Limitations of the approach.If \(\mathsf{logit}_{i}-\mathsf{logit}_{0}<-2B\) it is easy to see there is no efficient way to sample the token \(i\), hence no way to find information about \(\mathsf{logit}_{i}\) without \(\log\!rob\) access. There is a way to slightly increase the range for \(-2B\leq\mathsf{logit}_{i}-\mathsf{logit}_{0}\leq-B\) by adding negative logit biases to the tokens with the largest logit values, but we skip the details since for most models, for the prompts we use, the every token satisfies \(\mathsf{logit}_{i}-\mathsf{logit}_{0}>-B\).
접근 방식의 한계. 만약 \(\mathsf{logit}_{i}-\mathsf{logit}_{0}<-2B\)라면 토큰 \(i\)를 효율적으로 샘플링할 수 있는 방법이 없으므로 \(\log\!rob\) 액세스 없이는 \(\mathsf{logit}_{i}\)에 대한 정보를 찾을 수 없음을 쉽게 알 수 있습니다. logit 값이 가장 큰 토큰에 음의 logit biases를 추가하여 \(-2B\leq\mathsf{logit}_{i}-\mathsf{logit}_{0}\leq-B\)의 범위를 약간 늘릴 수 있는 방법이 있지만, 대부분의 모델에서 우리가 사용하는 프롬프트의 경우 모든 토큰이 \(\mathsf{logit}_{i}-\mathsf{logit}_{0}>-B\)를 만족하므로 자세한 내용은 생략합니다.
접근 방식의 한계. 만약 \(\mathsf{logit}_{i}-\mathsf{logit}_{0}<-2B\)라면 토큰 \(i\)를 효율적으로 샘플링할 수 있는 방법이 없으므로 \(\log\!rob\) 액세스 없이는 \(\mathsf{logit}_{i}\)에 대한 정보를 찾을 수 없음을 쉽게 알 수 있습니다. 로그 값이 가장 큰 토큰에 음의 로그 비즈를 추가하여 \(-2B\leq\mathsf{logit}_{i}-\mathsf{logit}_{0}\leq-B\)의 범위를 약간 늘릴 수 있는 방법이 있지만, 대부분의 모델에서 우리가 사용하는 프롬프트의 경우 모든 토큰이 \(\mathsf{logit}_{i}-\mathsf{logit}_{0}>-B\)를 만족하므로 자세한 내용은 생략합니다.