Our first approach relies on a common "reference" token that lets us learn the relative difference between all logits (this is the best we can hope for, since the softmax is invariant under additive shifts to the logits). Suppose the top token for a prompt is \(R\), and we want to learn the relative difference between the logits of tokens \(i\) and \(R\). We add a large bias \(B\) to token \(i\) to push it to the top-5, and then observe the logprobs of both token \(i\) and \(R\).
첫 번째 접근 방식은 모든 logits 간의 상대적 차이를 학습할 수 있는 일반적인 "reference" 토큰에 의존합니다(softmax는 logits에 대한 가산 이동에 불변하기 때문에 이것이 우리가 기대할 수 있는 최선입니다). 프롬프트의 최상위 토큰이 \(R\)이고 토큰 \(i\)와 \(R\)의 logits 간의 상대적 차이를 학습하고자 한다고 가정해 보겠습니다. 토큰 \(i\)에 큰 bias \(B\)를 추가하여 상위 5위로 밀어낸 다음 토큰 \(i\)와 \(R\)의 logprobs를 모두 관찰합니다.
첫 번째 접근 방식은 모든 로짓 간의 상대적 차이를 학습할 수 있는 일반적인 "참조" 토큰에 의존합니다(소프트맥스는 로짓에 대한 가산 이동에 불변하기 때문에 이것이 우리가 기대할 수 있는 최선입니다). 프롬프트의 최상위 토큰이 \(R\)이고 토큰 \(i\)와 \(R\)의 로짓 간의 상대적 차이를 학습하고자 한다고 가정해 보겠습니다. 토큰 \(i\)에 큰 바이어스 \(B\)를 추가하여 상위 5위로 밀어낸 다음 토큰 \(i\)와 \(R\)의 로그 확률을 모두 관찰합니다.