update readme
Browse files
README.md
CHANGED
|
@@ -10,7 +10,7 @@ tags:
|
|
| 10 |
# ChatGLM-6B-INT4-QE-Slim: 低显存版ChatGLM-6B-INT4-QE
|
| 11 |
## 介绍
|
| 12 |
|
| 13 |
-
ChatGLM-6B-INT4-QE-Slim是在ChatGLM-6B-INT4-QE的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 14 |
|
| 15 |
除了词表外，ChatGLM-6B-INT4-QE-Slim的其他结构与ChatGLM-6B-INT4-QE完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
|
| 16 |
|
|
|
|
| 10 |
# ChatGLM-6B-INT4-QE-Slim: 低显存版ChatGLM-6B-INT4-QE
|
| 11 |
## 介绍
|
| 12 |
|
| 13 |
+
ChatGLM-6B-INT4-QE-Slim是在[ChatGLM-6B-INT4-QE](https://huggingface.co/THUDM/chatglm-6b-int4-qe)的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 14 |
|
| 15 |
除了词表外，ChatGLM-6B-INT4-QE-Slim的其他结构与ChatGLM-6B-INT4-QE完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
|
| 16 |
|