fb700 commited on
Commit
fd60b86
1 Parent(s): 4b3aa96

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -12,7 +12,7 @@ license: "apache-2.0"
12
  ChatGLM-6B 是开源中英双语对话模型,本次训练基于ChatGLM-6B 的第一代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。
13
  ## 本次训练使用的方法
14
 
15
- - 首先,用40万条gpt4数据进行强化训练,以提高模型的基础能力;
16
  - 第二,使用30万条人类反馈数据,构建一个表达方式规范优雅的语言模式(RM模型);
17
  - 第三,在保留SFT阶段三分之一训练数据的同时,增加了30万条fitness数据,叠加RM模型,对ChatGLM-6B进行强化训练。
18
  - 成果,训练后在健康咨询,文档总结能力上不但强于chatglm-6b,而且部分能力上更是强于chatglm2-6b,配合“闻达”和“langchain-chatglm”等知识库项目,应用体验上对比chatglm-6b、chatglm2-6b和百川-7b均匀显著提升。
 
12
  ChatGLM-6B 是开源中英双语对话模型,本次训练基于ChatGLM-6B 的第一代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。
13
  ## 本次训练使用的方法
14
 
15
+ - 首先,用40万条高质量数据进行强化训练,以提高模型的基础能力;
16
  - 第二,使用30万条人类反馈数据,构建一个表达方式规范优雅的语言模式(RM模型);
17
  - 第三,在保留SFT阶段三分之一训练数据的同时,增加了30万条fitness数据,叠加RM模型,对ChatGLM-6B进行强化训练。
18
  - 成果,训练后在健康咨询,文档总结能力上不但强于chatglm-6b,而且部分能力上更是强于chatglm2-6b,配合“闻达”和“langchain-chatglm”等知识库项目,应用体验上对比chatglm-6b、chatglm2-6b和百川-7b均匀显著提升。