Tail Narrowing.Figure 2 (for Llama2) shows that in addition to tail cutting, tail narrowing effects happen during AI-generation. One mechanism for this is lowered temperature during next-token prediction. Assume a softmax distribution on the logits \(z_{i}\) for the \(i\)th token: \(p_{i}=e^{z_{i}}/\sum_{j}e^{z_{j}}\). Define \(q_{i}^{T}=e^{z_{i}/T}/\sum_{j}e^{z_{j}/T}\) for general temperature \(T\). Then \(p_{i}\asymp i^{-\beta}\) morphs into \(q_{i}^{T}\asymp i^{-\beta/T}\) (to first order). We see that temperature scaling directly causes narrowing of tail for \(T>1\). Other mechanisms can come to play: for instance, for autoregressive models with perplexity, token-wise tail cutting can result in tail narrowing for sequence-perplexity (see Figure 35 and discussion in Appendix I).
꼬리 좁히기. 그림 2(Llama2의 경우)는 꼬리 절단 외에도 AI 생성 중에 꼬리 좁힘 효과가 발생한다는 것을 보여줍니다. 이의 한 가지 메커니즘은 다음 토큰 예측 중 온도 하락입니다. i번째 토큰에 대한 로짓 \(z_{i}\)에 softmax 분포를 가정합니다: \(p_{i}=e^{z_{i}}/\sum_{j}e^{z_{j}}\). 일반적인 온도 \(T\)에 대해 \(q_{i}^{T}=e^{z_{i}/T}/\sum_{j}e^{z_{j}/T}\)를 정의합니다. 그러면 \(p_{i}\asymp i^{-\beta}\)는 \(q_{i}^{T}\asymp i^{-\beta/T}\)로 변형됩니다(첫 번째 순서로). 온도 scaling은 \(T>1\)의 경우 꼬리의 좁아짐을 직접적으로 유발한다는 것을 알 수 있습니다. 예를 들어, perplexity가 있는 autoregressive 모델의 경우 토큰별 꼬리 절단이 시퀀스 perplexity에 대한 꼬리 좁힘을 초래할 수 있습니다(그림 35 및 부록 I의 토론 참조).
꼬리 좁히기.그림 2(Llama2의 경우)는 꼬리 절단 외에도 AI 생성 중에 꼬리 좁힘 효과가 발생한다는 것을 보여줍니다. 이의 한 가지 메커니즘은 다음 토큰 예측 중 온도 하락입니다. i번째 토큰에 대한 로짓 \(z_{i}\)에 소프트맥스 분포를 가정합니다: \(p_{i}=e^{z_{i}}/\sum_{j}e^{z_{j}}\). 일반적인 온도 \(T\)에 대해 \(q_{i}^{T}=e^{z_{i}/T}/\sum_{j}e^{z_{j}/T}\)를 정의합니다. 그러면 \(p_{i}\asymp i^{-\beta}\)는 \(q_{i}^{T}\asymp i^{-\beta/T}\)로 변형됩니다(첫 번째 순서로). 온도 스케일링은 \(T>1\)의 경우 꼬리의 좁아짐을 직접적으로 유발한다는 것을 알 수 있습니다. 예를 들어, 당혹감이 있는 자동 회귀 모델의 경우 토큰별 꼬리 절단이 시퀀스 당혹감에 대한 꼬리 좁힘을 초래할 수 있습니다(그림 35 및 부록 I의 토론 참조).