Seikaijyu's picture
Update README.md
0a69c3f verified
|
raw
history blame
1.76 kB
metadata
license: mit
language:
  - zh
tags:
  - not-for-all-audiences

模型说明

基于RWKV6-v2.1-3B 全新基模微调的nsfw语C模型

非常感谢某不知名的神秘网友提供的784条Claude超长上下文语料(单条长度超过120k),此模型也是基于该语料进行的实验性质微调

使用7k长上下文微调19epoch后loss为1.7得到的模型

因为超长上下文,继续微调应该还能提升效果,暂时只做测试,后续我会进行全面微调,敬请期待

效果如下:

注意:使用该模型需要自定义上文,以下演示回复模型输出的第一句到第二句都为手动定义

image/png

image/png

神里绫华

image/png

image/png

补充说明

因为此模型使用纯粹的nsfw多轮对话数据微调,生成会偏向nsfw,这是正常现象

此模型需要手动设定上文才能有良好表现,模型回复会与上文回复类似


推荐如下格式使用模型(不需要设置角色名称,因为让模型以第三人称视角回复效果更好)

System:
User:
Assistant:

推荐参数如下:

Temperature=2-3之间

Top_P=0.55-0.65之间

Presence Penalty=0.4-0之间

Frequency Penalty=0.8-1.2之间