decreases, as the LM distribution anneals to argmax, as well as when temperature increases, as the distribution collapses to uniform. For both top-p and top-k we note that the model requires almost all of the distribution to perform well, indicating that there is significant information in the tails.
온도가 증가하면 분포가 균일한 것으로 붕괴되기 때문에 LM 분포가 argmax로 어닐링될 때 감소합니다. top-p와 top-k 모두에서 모델이 분포의 거의 모든 부분을 필요로 하는데, 이는 꼬리 부분에 상당한 정보가 있음을 나타냅니다.
온도가 증가하면 분포가 균일한 것으로 붕괴되기 때문에 LM 분포가 최대값으로 어닐링될 때 감소합니다. 상위 p와 상위 k 모두에서 모델이 분포의 거의 모든 부분을 필요로 하는데, 이는 꼬리 부분에 상당한 정보가 있음을 나타냅니다.