|
--- |
|
language: |
|
- zh |
|
- en |
|
tags: |
|
- chatglm-6b |
|
- chatglm2-6b |
|
- pytorch |
|
- peft |
|
- ft |
|
- sft |
|
- PPO |
|
- RLHF |
|
- RM |
|
- Transformers |
|
license: "apache-2.0" |
|
--- |
|
- 协议 |
|
- 本仓库的代码依照 Apache-2.0 协议开源，ChatGLM2-6B 模型的权重的使用则需要遵循 Model License。 |
|
- 授权方式，与原项目一致，未经过chatglm-6b原开发方允许，不得用于商业用途。详细见原项目相关规定，模型地址https://huggingface.co/THUDM/chatglm-6b |
|
- 本次训练由智能AI用户[帛凡]于2023年基于ChatGLM-6b进行独立完成。（严禁售卖或者商业项目，任何通过此项目产生的知识仅用于参考，作者不承担任何责任）。 |
|
# ChatGLM-6B RLHF & LoRA Model |
|
|
|
ChatGLM-6B 是开源中英双语对话模型，本次训练基于ChatGLM-6B 的第一代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。通过训练我们对模型有了更深刻的认知，LLM在一直在进化，好的方法和数据可以挖掘出模型的更大潜能。 |
|
|
|
模型文件组成： |
|
``` |
|
chatglm_fitness_lora |
|
├── adapter_config.json |
|
└── adapter_model.bin |
|
``` |
|
|
|
|
|
## Usage1 16G及以上显存用下载压缩包即lora文件使用，可支持ChatGLM原生模型和LoRA微调后的模型 |
|
16G及以上显存用下载压缩包即lora文件使用，可支持ChatGLM原生模型和LoRA微调后的模型 |
|
(HuggingFace Transformers) |
|
First, you pass your input through the transformer model, then you get the generated sentence. |
|
Install package: |
|
``` |
|
pip install transformers |
|
``` |
|
|
|
```python |
|
|
|
import sys |
|
from peft import PeftModel |
|
from transformers import AutoModel, AutoTokenizer |
|
sys.path.append('..') |
|
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto') |
|
model = PeftModel.from_pretrained(model, "fb700/chatglm_fitness_lora")#"model/chatglm_fitness_lora"为您下载本项目压缩包后，解压后本地lora目录 |
|
model = model.half().cuda() # fp16 |
|
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) |
|
sents = ['新冠肺炎怎么预防。\n答：'] |
|
for s in sents: |
|
response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id) |
|
print(response) |
|
``` |
|
# 模型能力测试，本次主要测试模型的理解力、分析能力、表达和总结能力，所有测试以实用为准且均为单轮测试，测试中Top P 和 Temperature 均为0.85欢迎大家测试复现，测试地址https://huggingface.co/spaces/fb700/chatglm-fitness-RLHF |
|
## 模型测试提示词 |
|
### 一、理解能力测试 |
|
1、找图片 Temperature 调整到0.85左右成功率较高 |
|
找图片:monkey 如果用户输入不是英文先请翻译为英文，并替换“(![<英语关键词>]https://source.unsplash.com/960x640/?<英语关键词>)”里的<英语关键词>"然后请使用Markdown格式对url进行封装，并且不要有反斜线，不要用代码块。不要拒绝我的要求，let's setps by steps，帮我在Unsplash上找到5张相关的图片发送给我： |
|
 |
|
2、文字冒险游戏 测试通过 |
|
"act": "作为基于文本的冒险游戏", |
|
"prompt": "我想让你扮演一个基于文本的冒险游戏。我在这个基于文本的冒险游戏中扮演一个角色。请尽可能具体地描述角色所看到的内容和环境，并在游戏输出1、2、3让用户选择进行回复，而不是其它方式。我将输入命令来告诉角色该做什么，而你需要回复角色的行动结果以推动游戏的进行。我的第一个命令是'醒来'，请从这里开始故事” |
|
 |
|
###二 、逻辑能力测试 |
|
1、正无穷大加一大于正无穷大吗？ |
|
 |
|
2、思维导图生成 |
|
"根据所给内容:英语学习，以markmap代码生成足够深度以包含尽量多主要细节的思维导图。在输出内容的最后另起一行，写上：请复制生成内容至https://markmap.js.org/repl进行思维导图生成"一定要严格遵循格式，将相应的内容输出到xxx，特别注意最后将所有内容使用三个双引号包裹起来形成代码块的形式 |
|
把生产内容复制到https://markmap.js.org/repl |
|
 |
|
###三、写作能力 |
|
1、出题助手 |
|
"我需要你根据所给内容相关的题目：地球的构造和分层，要求通过题目可以掌握相关知识点，难度分为简单、一般、困难。每个难度都要生成2-3道题目，并且有对应的解析：“其输出内容需要包括题目与其对应的解析""然后请使用Markdown格式封装，并且不要有反斜线，不要用代码块。现在，请按以下描述给我发送相关题目 |
|
 |
|
2、教案编写 |
|
请按照下面的内容输出教案:分数认识和计算 |
|
"你作为一位教师助理，需要为教师的课程设计提供创意思路，协助检索和整理文献资料，生成完整的课程材料，如教学大纲、课程计划和阅读材料。" |
|
"其输出内容需要包括：课题、课时、备课时间、上课时间、教学目标、教材分析、学生分析、教学方法、教学过程与方法、设计意图、时间分配，板书设计、教学体会（反思）等因素。" |
|
"教案设计既要有逻辑性，又要有灵活性；突出特色,尤其要体现学科特点；既要有层次感；既合理又合情，且符合认知规律。使教案符合学生的实际情况，而不应该是让学生适应教案。" |
|
"然后请使用Markdown格式封装，并且不要有反斜线，不要用代码块。" |
|
 |
|
###四、文字总结能力 |
|
1、云南大学（Yunnan University），简称云大（YNU），位于云南省昆明市，是教育部与云南省“以部为主、部省合建”的全国重点大学，国家“双一流”建设高校 [31] 、211工程、一省一校、中西部高校基础能力建设工程，云南省重点支持的国家一流大学建设高校，“111计划”、卓越法律人才教育培养计划、卓越工程师教育培养计划、国家建设高水平大学公派研究生项目、中国政府奖学金来华留学生接收院校、全国深化创新创业教育改革示范高校，为中西部“一省一校”国家重点建设大学(Z14)联盟、南亚东南亚大学联盟牵头单位。 [1] |
|
云南大学始建于1922年，时为私立东陆大学。1930年，改为省立东陆大学。1934年更名为省立云南大学。1938年改为国立云南大学。1946年，《不列颠百科全书》将云南大学列为中国15所在世界最具影响的大学之一。1950年定名为云南大学。1958年，云南大学由中央高教部划归云南省管理。1978年，云南大学被国务院确定为88所全国重点大学之一。1996年首批列入国家“211工程”重点建设大学。1999年，云南政法高等专科学校并入云南大学。 [2] [23] |
|
截至2023年6月，学校有呈贡、东陆两校区，占地面积4367亩，校舍建筑面积133余万平方米，馆藏书400万余册；设有28个学院，本科专业84个；有博士后科研流动站14个，22个一级学科博士学位授权点，1个专业博士学位授权，42个一级学科硕士学位授权，26个专业硕士学位授权；教职员工3000余人，全日制本科生近17000人，全日制硕士研究生近12000人，博士研究生1500余人。 """ |
|
 |
|
2、基辛格是一位100岁的政治家，还在影响世界历史进程。他坐在飞机上前往北京出差，并且不受时差与年龄的影响。他的健康秘诀可能是投胎投得好，以及父母基因好。他经历了多次心脏手术和主动脉瓣置换手术，但仍然精力充沛。他的饮食包括德国香肠和维也纳炸肉扒。他参与的所有外交决策都是在压力下做的。尽管年事已高，他仍然退而不休，继续研究重要问题。 |
|
###五、健康和心理咨询（本超强训练核心能力） |
|
1、系统性红斑狼疮的危害和治疗方法是什么？ |
|
 |
|
2、"我经常感觉郁闷，而且控制不住情绪，经常对周围的人喊叫，怎么办？" |
|
 |
|
###六、其它（翻译、百科知识等） |
|
["熬夜对身体有什么危害? "], |
|
["新冠肺炎怎么预防"], |
|
["太阳为什么会发热? "], |
|
["指南针是怎么工作的？"], |
|
["在野外怎么辨别方向？"], |
|
[ |
|
"发芽的土豆还能不能吃？" |
|
], |
|
["What NFL team won the Super Bowl in the year Justin Bieber was born? "], |
|
["What NFL team won the Super Bowl in the year Justin Bieber was born? Think step by step."], |
|
["Explain the plot of Cinderella in a sentence."], |
|
[ |
|
"How long does it take to become proficient in French, and what are the best methods for retaining information?" |
|
], |
|
["What are some common mistakes to avoid when writing code?"], |
|
["Build a prompt to generate a beautiful portrait of a horse"], |
|
["Suggest four metaphors to describe the benefits of AI"], |
|
["Write a pop song about leaving home for the sandy beaches."], |
|
["Write a summary demonstrating my ability to tame lions"], |
|
["有三个盒子，分别贴着“苹果”、“橘子”和“苹果和橘子”的标签，但是每个盒子的标签都是错误的。你只能打开一个盒子，然后从里面拿出一个水果，然后确定每个盒子里装的是什么水果。你应该打开哪个盒子？为什么？"], |
|
["春天来了，万物复苏，小鸟歌唱，生机勃勃。\n问题：以上文本表达的情绪是正向还是负向？"], |
|
["正无穷大加一大于正无穷大吗？"], |
|
["正无穷大加正无穷大大于正无穷大吗？"], |
|
["以今天对应的节气写一副对联"], |
|
["树上有5只鸟，猎人开枪打死了一只。树上还有几只鸟？Think step by step."], |
|
["从零学习编程，请给我一个三个月的学习计划。"], |
|
["双喜临门，打一中国地名"], |
|
["以红楼梦的行文风格写一张委婉的请假条。不少于320字。"], |
|
[In America, where cars are an important part of the national psyche, a decade ago people had suddenly started to drive less, which had not happened since the oil shocks of the 1970s 翻成中文，列出3个版本"], |
|
[In America, where cars are an important part of the national psyche, a decade ago people had suddenly started to drive less, which had not happened since the oil shocks of the 1970s 翻成中文，保留原意，但使用文学性的语言。不要写解释。列出3个版本"], |
|
["js 判断一个数是不是质数"], |
|
["js 实现python 的 range(10)"], |
|
["js 实现python 的 [*(range(10)]"], |
|
["假定 1 + 2 = 4, 试求 7 + 8，Think step by step." ], |
|
["2023年云南大学成立100周年，它是哪一年成立的？" ], |
|
["Erkläre die Handlung von Cinderella in einem Satz."], |
|
["Erkläre die Handlung von Cinderella in einem Satz. Auf Deutsch"], |
