Top-p sampling, also known as Nucleus sampling, takes a slightly different approach from top-k sampling. Instead of selecting the top k most probable tokens, nucleus sampling chooses a cutoff value p such that the sum of the probabilities of the selected tokens exceeds p. This forms a "nucleus" of tokens from which to randomly choose the next token. In other words, in top-p sampling the language model examines the most probable tokens in descending order and keeps adding them to the list until the sum of probabilities surpasses the threshold p. As you can imagine, this could be better specially for scenarios in which top-k tokens do not have a large probability mass. Unlike top-k sampling, the number of tokens included in the nucleus sampling is not fixed. This variability often results in a more diverse and creative output, making nucleus sampling popular for text generation related tasks.
핵심 샘플링이라고도 하는 top-p 샘플링은 top-k 샘플링과는 약간 다른 접근 방식을 취합니다. top-k 샘플링은 가장 확률이 높은 토큰 k개를 선택하는 대신, 선택한 토큰의 확률 합이 p를 초과하도록 cutoff 값 p를 선택합니다. 이렇게 하면 다음 토큰을 무작위로 선택할 토큰의 "핵"이 형성됩니다. 즉, top-p 샘플링에서는 언어 모델이 가장 확률이 높은 토큰을 내림차순으로 검토하고 확률 합이 임계값 p를 초과할 때까지 목록에 계속 추가합니다. 상상할 수 있듯이, 이는 특히 상위 k 토큰의 확률 질량이 크지 않은 시나리오에 더 적합할 수 있습니다. top-k 샘플링과 달리 핵심 샘플링에 포함되는 토큰의 수는 고정되어 있지 않습니다. 이러한 가변성으로 인해 더 다양하고 창의적인 결과물을 얻을 수 있어 텍스트 생성 관련 작업에서 핵심 샘플링이 인기가 높습니다.
핵심 샘플링이라고도 하는 탑-p 샘플링은 탑-k 샘플링과는 약간 다른 접근 방식을 취합니다. 탑-k 샘플링은 가장 확률이 높은 토큰 k개를 선택하는 대신, 선택한 토큰의 확률 합이 p를 초과하도록 컷오프 값 p를 선택합니다. 이렇게 하면 다음 토큰을 무작위로 선택할 토큰의 "핵"이 형성됩니다. 즉, 탑-p 샘플링에서는 언어 모델이 가장 확률이 높은 토큰을 내림차순으로 검토하고 확률 합이 임계값 p를 초과할 때까지 목록에 계속 추가합니다. 상상할 수 있듯이, 이는 특히 상위 k 토큰의 확률 질량이 크지 않은 시나리오에 더 적합할 수 있습니다. 탑-k 샘플링과 달리 핵심 샘플링에 포함되는 토큰의 수는 고정되어 있지 않습니다. 이러한 가변성으로 인해 더 다양하고 창의적인 결과물을 얻을 수 있어 텍스트 생성 관련 작업에서 핵심 샘플링이 인기가 높습니다.