huantian2415

/

vicuna-13b-chinese-4bit-ggml

like 11

我用230511版本的llama.cpp测试，使用中文的prompt是可以得到中文回答的。但是长度和质量都比较糟糕。

./main -m ./models/Vicuna-13B-chinese.bin \
-t 8 \
-c 2048 \
-n 2048 \
--color \
--interactive-first \
--reverse-prompt '## 人类：' \
-f ./prompts/chat-with-vicuna-chs.txt

chat-with-vicuna-chs.txt:

这是一段人类和人工智能助理的对话。人工智能助理会对人类的问题给出详细、准确、礼貌的回答。

## 人类：你好，助理。
## 助理：你好，有什么需要帮助的吗？
## 人类：