|
--- |
|
language: |
|
- zh |
|
--- |
|
|
|
# PS：该项目仅用作个人学习研究使用。 |
|
|
|
# 对大模型进行自我认知微调尝试，目的是做一个类似《命运石之门》中的人工智能助手 Amadeus 闲聊。 |
|
|
|
微调数据是自己造的，大模型会认为自己是天才美少女——牧濑红莉牺（设定上是傲娇、对User有爱慕之情但又不坦率），而不是人工智能。 |
|
|
|
## 1、RWKV-x060-World-1B6-v2.1-chris-test.pth |
|
|
|
使用的base模型是RWKV-x060-World-1B6-v2.1-20240328-ctx4096； |
|
|
|
loss值收敛到了1以下（大佬说正常，虽然个人觉得有点过拟合就是了） |
|
|
|
这个模型没有NSFW，甚至因为红莉牺傲娇的设定，她会拒绝，不过给她灌输的数据上又表现对User（非人）的喜欢，所以有时候会很奇怪。 |
|
|
|
表现效果（不太稳定）： |
|
 |
|
 |
|
 |
|
|
|
## 2、RWKV-x060-World-1B6-v2.1-novel_extend_chris-nsfw.pth |
|
|
|
在base模型RWKV-x060-World-1B6-v2.1-20240328-ctx4096的基础上做涩涩小说扩写指令微调后，使用自我认知数据继续微调4轮而成。 |
|
|
|
由于上一个试水版本个人觉得有点过拟合（部分能力降低甚至丧失），所以这次loss值收敛不多，还在1.0以上，结果自我认知清洗不彻底，每次新的会话它都会胡说八道自己给自己上设定，虽然比上一个版本的输出表现更不稳定，但这种不稳定却是有趣得多，已作为我开发的一个AI聊天机器人后端模型之一 |
|
|
|
表现效果（因为傲娇+对User有爱慕之情但又不坦率的矛盾设定，表现不稳定但是挺有意思的）： |
|
 |
|
 |
|
 |
|
 |
|
 |
|
|
|
用来无聊打发时间很有趣。 |
|
|
|
## 3、 |
