where \(\mathsf{ArgMax}\left(\mathbf{z}\right)\) returns the index of the highest coordinate in the vector \(\mathbf{z}\in\mathbb{R}^{I}\). In this section, we will use the notation \(b=\{i:z\}\) to denote that the bias is set to \(z\) for token \(i\) and \(0\) for every other token. We also use \(b=\{\}\) to denote that no logit bias is used. Finally, we assume that the bias is restricted to fall within the range \([-B,B]\).
여기서 \(\mathsf{ArgMax}\left(\mathbf{z}\right)\)는 벡터 \(\mathbf{z}\in\mathbb{R}^{I}\)에서 가장 높은 좌표의 인덱스를 반환합니다. 이 섹션에서는 \(b=\{i:z\}\)라는 표기법을 사용하여 토큰 \(i\)에 대해 bias가 \(z\)로 설정되고 다른 모든 토큰에 대해 \(0\)으로 설정됨을 나타냅니다. 또한 \(b=\{\}\)를 사용하여 logit bias가 사용되지 않았음을 나타냅니다. 마지막으로 bias가 \([-B,B]\) 범위 내에 속하도록 제한된다고 가정합니다.
여기서 \(\mathsf{ArgMax}\left(\mathbf{z}\right)\)는 벡터 \(\mathbf{z}\in\mathbb{R}^{I}\)에서 가장 높은 좌표의 인덱스를 반환합니다. 이 섹션에서는 \(b=\{i:z\}\)라는 표기법을 사용하여 토큰 \(i\)에 대해 바이어스가 \(z\)로 설정되고 다른 모든 토큰에 대해 \(0\)으로 설정됨을 나타냅니다. 또한 \(b=\{\}\)를 사용하여 로짓 바이어스가 사용되지 않았음을 나타냅니다. 마지막으로 바이어스가 \([-B,B]\) 범위 내에 속하도록 제한된다고 가정합니다.