Temperature = 0.001, LLM输出的结果依旧每次都不一样
#3
by
kk3dmax
- opened
用如下方式设置 temperature = 0.001, LLM输出的结果依旧每次都不一样, Llama2就不会这样.
config = llm.generation_config
config.update(max_length=max_length,
max_new_tokens=max_length,
max_window_size=max_window_size,
repetition_penalty=repetition_penalty,
do_sample=True,
top_p=top_p,
temperature=DEF_TEMP,
)
因为Qwen不是Llama2哈。
- 如果需要greedy生成，设置do_sample为False，不要调整temperature。
- 如果需要随机生成，但需要每次随机结果一样，你可以手动设置seed，但目前transformers这个框架保证不了完全一致。
jklj077
changed discussion status to
closed