q3就差不多了
q3_k_m版本来了https://huggingface.co/shenzhi-wang/Llama3.1-70B-Chinese-Chat/blob/main/gguf/llama3.1_70b_chinese_chat_q3_k_m.gguf
谢谢,8b的版本我用过了,中文的反应非常好。现在我很期待70B的中文版
· Sign up or log in to comment