遇到了无穷回复问题
模型无法自动停止输出, 会一直写下去
可以分享一下遇到问题的prompts以及模型版本吗
模型：该模型（无量化）
加载器：exllamav2 + tabbyapi
prompt template：从模型中获得
问题：鸡胸肉是鸡的哪个部位？
此时模型将一直输出
以下是一个模型输出:
鸡柳指的是腰部的鸡肉，通常是从鸡的腹部腰部切下的肉。这种肉通常较为细嫩且易于切割成柳叶形，因此得名“鸡柳”。鸡柳可以通过多种烹饪方式来食用，如蒸、煮、烤、炸等，并常常用于制作沙拉、拌菜或做成鸡柳烧。而鸡柳并不是指鸡胸肉或鸡腿肉。assistant
鸡柳是指鸡肉中的横切片，通常采用鸡肉的中部或是上部腰部切片而成。这些部位的肉质通常比较嫩滑，不同于鸡胸肉或者鸡腿，鸡柳的肉片通常形状模仿柳树的枝条，因此被命名为鸡柳。这种鸡肉较为易于煎烤或炒制，可以变成具有不同的烹饪效果的菜品。assistant
鸡柳基本上是指鸡肉的一种切割形式，并不是指鸡肉的某个特定的部位，它可以来源于鸡的胸部或腿部的肉。这种切割方式是指将整块的鸡肉切成窄长条状的薄片，因此得名“鸡柳”。鸡柳因为呈柳叶状，所以被称之为鸡柳，通常用于烹饪时容易保持肉质的鲜嫩和易于熟透。assistant
鸡柳是指切割成为柳叶形状的鸡肉片。这个名称并不是针对某个特定的
我用Huggingface backend部署之后连续试了5次，还试了llama_cpp加载gguf，以及ollama模型，都是正常的，没有遇到无穷回复的问题。是不是部署的时候的问题？
Huggingface backend的连续5次回答如下：
我测试llama_cpp加载gguf用的是如下命令：
llama-cli -m llama3.1_8b_q8_0.gguf -p "You are a helpful assistant" -cnv
根据 llama_cpp readme的这里 所述，我没有指定chat template，默认是从模型本身加载的，因此模型本身的chat template应该也没有问题。
8B 的模型不适合量化使用，性能下降太多