A low temperature setting significantly alters the probability distribution (and is commonly used in text generation to control the level of "creativity" in the generated output), while a large temperature prioritizes the tokens with higher probabilities. Top-k is a creative way of sampling, and can be used along with beam search. The sequence chosen by top-k sampling may not be the sequence with highest probability in beam search. But it's important to remember that highest scores do not always lead to more realistic or meaningful sequences.
낮은 온도 설정은 확률 분포를 크게 변경하며(일반적으로 텍스트 생성에서 생성된 출력의 '창의성' 수준을 제어하기 위해 사용됨), 온도가 높으면 더 높은 확률을 가진 토큰이 우선순위를 갖습니다. Top-k는 창의적인 샘플링 방식이며 beam search와 함께 사용할 수 있습니다. beam search에서 가장 높은 확률을 가진 시퀀스가 아닌 시퀀스가 선택될 수 있습니다. 하지만 가장 높은 점수가 항상 가장 현실적이거나 의미 있는 시퀀스로 이어지지는 않는다는 점을 기억하는 것이 중요합니다.
낮은 온도 설정은 확률 분포를 크게 변경하며(일반적으로 텍스트 생성에서 생성된 출력의 '창의성' 수준을 제어하기 위해 사용됨), 온도가 높으면 더 높은 확률을 가진 토큰이 우선순위를 갖습니다. 상위 k는 창의적인 샘플링 방식이며 빔 검색과 함께 사용할 수 있습니다. 빔 검색에서 가장 높은 확률을 가진 시퀀스가 아닌 시퀀스가 선택될 수 있습니다. 하지만 가장 높은 점수가 항상 가장 현실적이거나 의미 있는 시퀀스로 이어지지는 않는다는 점을 기억하는 것이 중요합니다.