Update README.md
Browse files
README.md
CHANGED
|
@@ -36,8 +36,13 @@ response, history = model.chat(tokenizer, input_text, history=None)
|
|
| 36 |
print(response)
|
| 37 |
```
|
| 38 |
|
| 39 |
-
|
| 40 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 41 |
|
| 42 |
|
| 43 |
# 问答例子
|
|
|
|
| 36 |
print(response)
|
| 37 |
```
|
| 38 |
|
| 39 |
+
# 训练过程
|
| 40 |
+
### 1.模型结构修改
|
| 41 |
+
将Qwen模型的NTK插值方法替换为Yarn，同时适当缩小位置插值的缩放因子s，实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
|
| 42 |
+
### 2.预训练
|
| 43 |
+
使用[yuyijiong/LongData-Corpus](https://huggingface.co/datasets/yuyijiong/LongData-Corpus)数据，Qlora方法，数据切分为32k文本长度，对Qwen模型进行增量预训练。
|
| 44 |
+
### 3.指令微调
|
| 45 |
+
使用[yuyijiong/Long-Instruction-Chinese]https://huggingface.co/datasets/yuyijiong/Long-Instruction-Chinese)数据，Qlora方法，对Qwen模型进行微调。
|
| 46 |
|
| 47 |
|
| 48 |
# 问答例子
|