遇到了和8b版本一样的无限输出问题
#5
by
Orion-zhen
- opened
如题
如 这个discussion 所述，我试验了huggingface backend加载8B模型的BF16版本，用llama_cpp加载gguf版本，以及ollama模型，都没遇到无穷输出的问题。
此外我还同样试了5次70B BF16模型用huggingface backend来加载测试这个discussion 提到的prompt，也没有发现无限输出的问题。70B模型连续测试5次的回答如下：
