Recently, researchers have also explored other sampling strategies for LLMs. For instance, \(\eta\)_-sampling_[315] further improves top-\(p\) sampling by introducing a dynamic threshold based on the probability distribution. Furthermore, _contrastive search_[316] and _typical sampling_[317] can be utilized to improve the generation coherence during decoding. Since it has been found that large models tend to assign higher probability to important tokens compared to small models, _contrastive decoding_[318] utilizes a larger LM (_e.g._, OPT-13B) and a smaller LM (_e.g._, OPT-125M) to measure their log-likelihood differences. Subsequently, tokens are sampled based on the delta value of the probability distribution, thereby amplifying the impact of important tokens. Based on this contrastive idea, DoLa [319] further extends this approach to contrasting the logits across different layers of a single LLM, as higher layers tend to assign more weight to important tokens.
최근 연구자들은 LLM을 위한 다른 샘플링 전략도 탐구하고 있습니다. 예를 들어, \(\eta\)_-sampling_[315]은 확률 분포에 기반한 동적 임계값을 도입하여 top-\(p\) sampling을 더욱 개선합니다. 또한, _contrastive search_[316]과 _typical sampling_[317]을 활용하여 decoding 중 생성 일관성을 개선할 수 있습니다. 큰 모델은 작은 모델에 비해 중요한 토큰에 더 높은 확률을 할당하는 경향이 있는 것으로 밝혀짐에 따라, _contrastive decoding_[318]은 더 큰 LM(_예: OPT-13B)과 더 작은 LM(_예: OPT-125M)을 활용하여 로그 확률 차이를 측정합니다. 그런 다음 확률 분포의 델타 값을 기반으로 토큰을 샘플링하여 중요한 토큰의 영향을 증폭합니다. 이러한 대조적 아이디어를 기반으로 DoLa [319]는 이 접근 방식을 더욱 확장하여 단일 LLM의 여러 레이어에서 logits을 대조하는데, 상위 레이어는 중요한 토큰에 더 많은 가중치를 할당하는 경향이 있기 때문입니다.
최근 연구자들은 LLM을 위한 다른 샘플링 전략도 탐구하고 있습니다. 예를 들어, \(\eta\)_-샘플링_[315]은 확률 분포에 기반한 동적 임계값을 도입하여 탑-\(p\) 샘플링을 더욱 개선합니다. 또한, _대조 검색_[316]과 _전형 샘플링_[317]을 활용하여 디코딩 중 생성 일관성을 개선할 수 있습니다. 큰 모델은 작은 모델에 비해 중요한 토큰에 더 높은 확률을 할당하는 경향이 있는 것으로 밝혀짐에 따라, _대조 디코딩_[318]은 더 큰 LM(_예: OPT-13B)과 더 작은 LM(_예: OPT-125M)을 활용하여 로그 확률 차이를 측정합니다. 그런 다음 확률 분포의 델타 값을 기반으로 토큰을 샘플링하여 중요한 토큰의 영향을 증폭합니다. 이러한 대조적 아이디어를 기반으로 DoLa [319]는 이 접근 방식을 더욱 확장하여 단일 LLM의 여러 레이어에서 로짓을 대조하는데, 상위 레이어는 중요한 토큰에 더 많은 가중치를 할당하는 경향이 있기 때문입니다.