Update README.md
Browse files
README.md
CHANGED
|
@@ -10,12 +10,13 @@ language:
|
|
| 10 |
此微调也用于测试这一改进，在进行state tuning微调之前我其实尝试过lora微调，但是指令遵循却不尽人意，语料和模型的契合度太高，初始loss就很低，导致可能模型学不到格式这一点，所以我最后决定使用state tuning这一peft方法进行微调，同时这也是保证RWKV模型对格式进行遵循的最好方法之一，并且它能保证模型不会因为微调而遗忘（因为不会微调模型本身权重）。
|
| 11 |
|
| 12 |
PS: state tuning ≈ prompt tuning, prefex tuning
|
|
|
|
| 13 |
### 微调配置
|
| 14 |
微调使用autodl上租赁的单卡A40 48G。
|
| 15 |
|
| 16 |
| <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
|
| 17 |
|---|---|
|
| 18 |
-
|
| 19 |
|peft|state tuning|
|
| 20 |
|quant|使用int8量化微调|
|
| 21 |
|micro batch size|4|
|
|
|
|
| 10 |
此微调也用于测试这一改进，在进行state tuning微调之前我其实尝试过lora微调，但是指令遵循却不尽人意，语料和模型的契合度太高，初始loss就很低，导致可能模型学不到格式这一点，所以我最后决定使用state tuning这一peft方法进行微调，同时这也是保证RWKV模型对格式进行遵循的最好方法之一，并且它能保证模型不会因为微调而遗忘（因为不会微调模型本身权重）。
|
| 11 |
|
| 12 |
PS: state tuning ≈ prompt tuning, prefex tuning
|
| 13 |
+
|
| 14 |
### 微调配置
|
| 15 |
微调使用autodl上租赁的单卡A40 48G。
|
| 16 |
|
| 17 |
| <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
|
| 18 |
|---|---|
|
| 19 |
+
|[语料（开源）](https://huggingface.co/datasets/Seikaijyu/DCoT)|使用5904条基于Gemini-1.5-Pro蒸馏出的单轮DCoT语料，经过人工正则批量筛洗，每条语料的长度在2000-4820token之间，大部分回答集中在2000token以上。<br/>此数据集只包含了一些chat提问，如：<br/>“Java是什么？”<br/>“老鼠喜欢吃奶酪吗？”<br/>这样的问题，不包含数学，格式，角色扮演等prompt。|
|
| 20 |
|peft|state tuning|
|
| 21 |
|quant|使用int8量化微调|
|
| 22 |
|micro batch size|4|
|