where \(\mathsf{TopK}\left(\mathbf{z}\right)\) returns the \(K\) highest entries of \(\mathbf{z}\in\mathbb{R}^{l}\) and their indices. Many APIs (prior to this paper) provided such an option for their state-of-the-art models (OpenAI, 2024; Google, 2024). In particular, the OpenAI API supports modifying logits for at most \(300\) tokens, and the logit bias for each token is restricted to the range \([-100,100]\)(OpenAI, 2023).
여기서 \(\mathsf{TopK}\left(\mathbf{z}\right)\)는 \(\mathbf{z}\in\mathbb{R}^{l}\)의 가장 높은 항목 \(K\)와 해당 인덱스를 반환합니다. 많은 API(이 논문 이전)는 state-of-the-art 모델에 대한 이러한 옵션을 제공했습니다(OpenAI, 2024; Google, 2024). 특히 OpenAI API는 최대 \(300\) 토큰에 대해 logits를 수정할 수 있으며, 각 토큰의 logit bias는 \([-100,100]\)(OpenAI, 2023) 범위로 제한됩니다.
여기서 \(\mathsf{TopK}\left(\mathbf{z}\right)\)는 \(\mathbf{z}\in\mathbb{R}^{l}\)의 가장 높은 항목 \(K\)와 해당 인덱스를 반환합니다. 많은 API(이 논문 이전)는 최신 모델에 대한 이러한 옵션을 제공했습니다(OpenAI, 2024; Google, 2024). 특히 OpenAI API는 최대 \(300\) 토큰에 대해 로그를 수정할 수 있으며, 각 토큰의 로그 바이어스는 \([-100,100]\)(OpenAI, 2023) 범위로 제한됩니다.