Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,9 @@
|
|
| 1 |
---
|
| 2 |
license: cc-by-nc-4.0
|
|
|
|
|
|
|
|
|
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: cc-by-nc-4.0
|
| 3 |
+
language:
|
| 4 |
+
- zh
|
| 5 |
+
- en
|
| 6 |
---
|
| 7 |
+
* 将Qwen模型的NTK插值方法替换为Yarn，同时修改插值的程度，实现模型在更长文本长度（大于16k）下的正常对话能力。
|
| 8 |
+
* 目前仅提供代码，模型权重与原Qwen模型相同。未来可能会发布微调的权重
|
| 9 |
+
* 使用时请务必设置 config.use_logn_attn=False、config.use_dynamic_ntk=True，否则模型能力会受影响。
|