Create README.md

README.md

@@ -0,0 +1,51 @@
+---
+base_model:
+- THUDM/glm-4-voice-9b
+---
+# GLM-4-Voice-9B (INT4 Quantized)
+
+## 模型简介
+GLM-4-Voice 是智谱 AI 推出的端到端语音模型。GLM-4-Voice 能够直接理解和生成中英文语音，进行实时语音对话，并且能够根据用户的指令改变语音的情感、语调、语速、方言等属性。
+本仓库是是GLM-4-Voice-9B经过INT4量化的版本。经过优化后，显存需求显著降低，仅需12GB显存即可运行。经过测试，该模型可在NVIDIA GeForce RTX 3060 12GB显卡上流畅运行。
+
+## 使用教程
+
+### 创建虚拟环境
+首先，确保使用Python 3.10，创建虚拟环境：
+```bash
+# no support for python=3.8/3.9/3.12
+conda create -n GLM-4-Voice python=3.10
+```
+
+### 激活虚拟环境并克隆模型
+激活虚拟环境后，克隆模型和代码：
+```bash
+conda activate GLM-4-Voice
+git clone https://huggingface.co/cydxg/glm-4-voice-9b-int4
+```
+对于中国大陆用户，可以使用以下命令进行克隆：
+```bash
+git clone https://hf-mirror.com/cydxg/glm-4-voice-9b-int4
+```
+
+### 安装依赖
+进入模型目录并安装所需依赖：
+```bash
+cd glm-4-voice-9b-int4
+pip install -r requirements.txt
+# 根据自己的CUDA版本选择torch
+conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 pytorch-cuda=12.4 -c pytorch -c nvidia
+```
+
+### 启动模型服务
+首先启动模型服务：
+```bash
+python model_server.py
+```
+
+### 运行网页Demo
+接着运行网页Demo以访问模型：
+```bash
+python web_demo.py
+```
+即可通过访问 `http://localhost:8888` 来使用模型。