Update README.md
Browse files
README.md
CHANGED
@@ -12,7 +12,7 @@ license: "apache-2.0"
|
|
12 |
ChatGLM-6B 是开源中英双语对话模型,本次训练基于ChatGLM-6B 的第一代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。
|
13 |
## 本次训练使用的方法
|
14 |
|
15 |
-
- 首先,用40
|
16 |
- 第二,使用30万条人类反馈数据,构建一个表达方式规范优雅的语言模式(RM模型);
|
17 |
- 第三,在保留SFT阶段三分之一训练数据的同时,增加了30万条fitness数据,叠加RM模型,对ChatGLM-6B进行强化训练。
|
18 |
- 成果,训练后在健康咨询,文档总结能力上不但强于chatglm-6b,而且部分能力上更是强于chatglm2-6b,配合“闻达”和“langchain-chatglm”等知识库项目,应用体验上对比chatglm-6b、chatglm2-6b和百川-7b均匀显著提升。
|
|
|
12 |
ChatGLM-6B 是开源中英双语对话模型,本次训练基于ChatGLM-6B 的第一代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。
|
13 |
## 本次训练使用的方法
|
14 |
|
15 |
+
- 首先,用40万条高质量数据进行强化训练,以提高模型的基础能力;
|
16 |
- 第二,使用30万条人类反馈数据,构建一个表达方式规范优雅的语言模式(RM模型);
|
17 |
- 第三,在保留SFT阶段三分之一训练数据的同时,增加了30万条fitness数据,叠加RM模型,对ChatGLM-6B进行强化训练。
|
18 |
- 成果,训练后在健康咨询,文档总结能力上不但强于chatglm-6b,而且部分能力上更是强于chatglm2-6b,配合“闻达”和“langchain-chatglm”等知识库项目,应用体验上对比chatglm-6b、chatglm2-6b和百川-7b均匀显著提升。
|