Here, we illustrate how tail cutting in the next-token distribution can lead to tail-narrowing for metrics that take the entire sequence into account, like perplexity. Figure 35 illustrates this for the autoregressive bigram model. This effect is likely due to the combinatorial factors we obtain when considering an additive (or multiplicative) measure like perplexity.
여기에서는 다음 토큰 분포에서 꼬리 잘라내기가 Perplexity와 같이 전체 시퀀스를 고려하는 메트릭에 대해 꼬리 좁히기로 이어질 수 있는 방법을 설명합니다. 그림 35는 autoregressive bigram 모델에 대한 이 효과를 보여줍니다. 이 효과는 Perplexity와 같은 덧셈(또는 곱셈) 측정값을 고려할 때 얻을 수 있는 조합적 요인 때문일 가능성이 높습니다.
여기에서는 다음 토큰 분포에서 꼬리 잘라내기가 당혹감과 같이 전체 시퀀스를 고려하는 메트릭에 대해 꼬리 좁히기로 이어질 수 있는 방법을 설명합니다. 그림 35는 자동 회귀 이그램 모델에 대한 이 효과를 보여줍니다. 이 효과는 당혹감과 같은 덧셈(또는 곱셈) 측정값을 고려할 때 얻을 수 있는 조합적 요인 때문일 가능성이 높습니다.