The goal of balanced sampling of all output tokens can be approached in many ways. For example, we could tune \(c\) in the above expression; bias tokens which \(\mathcal{O}\) hasn't returned previously to be more likely; or solve for the exact logit bias that separates \(\mathcal{C}\) (or some relaxation) into equal parts. the queries/logit metric of this method in Table 3 is surprisingly close to optimal.
모든 출력 토큰의 균형 잡힌 샘플링의 목표는 여러 가지 방법으로 접근할 수 있습니다. 예를 들어, 위의 식에서 \(c\)를 조정하거나, \(\mathcal{O}\)가 이전에 반환하지 않은 bias 토큰을 더 많이 반환하거나, \(\mathcal{C}\)를 (또는 일부 완화) 동일한 부분으로 분리하는 정확한 logit bias를 풀 수 있습니다. 표 3의 이 방법의 query/logit metric은 놀랍도록 최적에 가깝습니다.
모든 출력 토큰의 균형 잡힌 샘플링의 목표는 여러 가지 방법으로 접근할 수 있습니다. 예를 들어, 위의 식에서 \(c\)를 조정하거나, \(\mathcal{O}\)가 이전에 반환하지 않은 바이어스 토큰을 더 많이 반환하거나, \(\mathcal{C}\)를 (또는 일부 완화) 동일한 부분으로 분리하는 정확한 로짓 바이어스를 풀 수 있습니다. 표 3의 이 방법의 쿼리/로짓 메트릭은 놀랍도록 최적에 가깝습니다.