The high-level idea to overcome this problem is that, instead of normalizing logits relative to a reference token, we shall normalize the logits to be logprobs. That is, we recover the logits with the normalization \(\sum_{j}\exp(z_{j})=1\). With this normalization it is no longer necessary to include a reference token in every query.
이 문제를 극복하기 위한 높은 수준의 아이디어는 참조 토큰에 대한 logits을 정규화하는 대신 logits을 logprobs로 정규화하는 것입니다. 즉, 정규화를 통해 \(\sum_{j}\exp(z_{j})=1\)로 logits을 복구합니다. 이 정규화를 사용하면 더 이상 모든 쿼리에 참조 토큰을 포함할 필요가 없습니다.
이 문제를 극복하기 위한 높은 수준의 아이디어는 참조 토큰에 대한 로짓을 정규화하는 대신 로짓을 로그 확률로 정규화하는 것입니다. 즉, 정규화를 통해 \(\sum_{j}\exp(z_{j})=1\)로 로짓을 복구합니다. 이 정규화를 사용하면 더 이상 모든 쿼리에 참조 토큰을 포함할 필요가 없습니다.