为什么这个包导入ollama用Ollama运行就乱讲一通？
#2
by
Kollcn
- opened
放在LMstudio里跑又是完全正常
可以用我们转化的ollama模型：
https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8
或者直接运行下面的命令：
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
ollama的也试过，没有一开始乱讲，到最后还是会开始乱讲死循环
输出token量大了,确实会乱讲,加重复乱码.用楼主提供的模型也一样,另外输入1000字以上的文本大概率,后面一直重复输出乱码,调整参数也没用
可以用我们转化的ollama模型：
https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8或者直接运行下面的命令：
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
我在ollama测试了上面的模型，效果明显好于GGUF格式的模型。请问这是问什么呢，格式会导致模型生成有很大的变化吗？
我也遇到了这个疯狂输出的问题，有点搞笑~~哈哈哈，换了ollama上的模型好很多，同样很困惑~
我也遇到了这个疯狂输出的问题，有点搞笑~~哈哈哈，换了ollama上的模型好很多，同样很困惑~
+1，一样的问题
+1，一样的问题
为什么经常输出无关的代码？
同样的问题。胡说一统。不会结束
发了个nihao给我无限输出konnichiwa也是醉了，这是为啥