The main issue of the previous approach is that some tokens are sampled more often than others, even in the case our prior for the logit vector is uniform over \([-B,0]\). This is because the "centering of the hyperrectangle" logit bias does not partition the hyperrectangle into equally-sized parts labeled by the argmax coordinate. For example, if \(\beta_{i}-\alpha_{i}\ll\beta_{j}-\alpha_{j}\), under an uniform prior over \([\alpha_{i},\beta_{i}]\times[\alpha_{j},\beta_{j}]\), \(j\) will be much more likely to be the output token than \(i\). Hence, in Algorithm 3 we rarely get constraints lower-bounding \(\mathsf{logit}_{i}\) in terms of other logits, which makes for weaker relaxations of \(\mathcal{C}\).
이전 접근 방식의 주요 문제는 logit 벡터에 대한 선행이 \([-B,0]\)에 걸쳐 균일한 경우에도 일부 토큰이 다른 토큰보다 더 자주 샘플링된다는 것입니다. 이는 "하이퍼렉트앵글의 중심" logit bias가 하이퍼렉트앵글을 argmax 좌표로 레이블이 지정된 동일한 크기의 부분으로 분할하지 않기 때문입니다. 예를 들어, \(\beta_{i}-\alpha_{i}\ll\beta_{j}-\alpha_{j}\)인 경우, \([\alpha_{i},\beta_{i}]\times[\alpha_{j},\beta_{j}]\)에 대한 균일한 선행 하에서 \(j\)가 \(i\)보다 출력 토큰이 될 가능성이 훨씬 더 높습니다. 따라서 알고리즘 3에서는 다른 logit의 관점에서 \(\mathsf{logit}_{i}\)를 하한으로 제한하는 제약 조건을 거의 얻지 못하므로 \(\mathcal{C}\)의 완화가 더 약해집니다.
이전 접근 방식의 주요 문제는 로그 벡터에 대한 선행이 \([-B,0]\)에 걸쳐 균일한 경우에도 일부 토큰이 다른 토큰보다 더 자주 샘플링된다는 것입니다. 이는 "하이퍼 렉트 앵글의 중심" 로그트 비즈가 하이퍼 렉트 앵글을 최대 좌표로 레이블이 지정된 동일한 크기의 부분으로 분할하지 않기 때문입니다. 예를 들어, \(\beta_{i}-\alpha_{i}\ll\beta_{j}-\alpha_{j}\)인 경우, \([\alpha_{i},\beta_{i}]\times[\alpha_{j},\beta_{j}]\)에 대한 균일한 선행 하에서 \(j\)가 \(i\)보다 출력 토큰이 될 가능성이 훨씬 더 높습니다. 따라서 알고리즘 3에서는 다른 로그트의 관점에서 \(\mathsf{logit}_{i}\)를 하한으로 제한하는 제약 조건을 거의 얻지 못하므로 \(\mathcal{C}\)의 완화가 더 약해집니다.