\(\bullet\)_Top-\(p\) sampling._ Since top-\(k\) sampling does not consider the overall possibility distribution, a constant value of \(k\) may be not be suitable for different contexts. Therefore, top-\(p\) sampling (_a.k.a._, nucleus sampling) is proposed by sampling from the smallest set having a cumulative probability above (or equal to) \(p\)[308]. In practice, the smallest set can be constructed by gradually adding tokens from the vocabulary sorted in descending order of generative probability, until their cumulative value exceeds \(p\).
\(\bullet\)_Top-\(p\) sampling._ top-\(k\) sampling은 전체 가능성 분포를 고려하지 않기 때문에 상수 값 \(k\)가 다른 컨텍스트에 적합하지 않을 수 있습니다. 따라서 top-\(p\) sampling(_a.k.a._, nucleus sampling)은 누적 확률이 \(p\) 이상(또는 같음)인 가장 작은 집합에서 샘플링함으로써 제안되었습니다[308]. 실제로 가장 작은 집합은 어휘에서 생성 확률의 내림차순으로 정렬된 토큰을 점진적으로 추가하여 누적 값이 \(p\)를 초과할 때까지 생성할 수 있습니다.
\(\bullet\)_Top-\(p\) 샘플링._ top-\(k\) 샘플링은 전체 가능성 분포를 고려하지 않기 때문에 상수 값 \(k\)가 다른 컨텍스트에 적합하지 않을 수 있습니다. 따라서 top-\(p\) 샘플링(_a.k.a._, 핵심 샘플링)은 누적 확률이 \(p\) 이상(또는 같음)인 가장 작은 집합에서 샘플링함으로써 제안되었습니다[308]. 실제로 가장 작은 집합은 어휘에서 생성 확률의 내림차순으로 정렬된 토큰을 점진적으로 추가하여 누적 값이 \(p\)를 초과할 때까지 생성할 수 있습니다.