metadata
language:
- zh
- en
tags:
- glm
- chatglm
- ggml
ChatGLM3-6B-int8
介绍 (Introduction) ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，THUDM/chatglm3-6b
用 ChatGLM.CPP 基於 GGML quantize 生成 Q8_0 權重 weights 儲存於此倉庫。
Performance
| Model | GGML quantize method | HDD size | 1 token* |
|---|---|---|---|
| chatglm3-ggml-q8_0.bin | q8_0 | 6.64 GB | 114ms |
| * ms/token (CPU @ Platinum 8260) from reference |
Getting Started
- Install dependency
pip install chatglm-cpp transformers
- Download weight
wget https://huggingface.co/npc0/chatglm3-6b-int8/resolve/main/chatglm3-ggml-q8_0.bin
- Code
import chatglm_cpp
pipeline = chatglm_cpp.Pipeline("./chatglm3-ggml-q8_0.bin")
pipeline.chat([chatglm_cpp.ChatMessage(role="user", content="你好")])
# Output: ChatMessage(role="assistant", content="你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。", tool_calls=[])