Update README.md
Browse files
README.md
CHANGED
@@ -10,6 +10,7 @@ pipeline_tag: text-generation
|
|
10 |
作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
|
11 |
此版本为v1,初步具有长对话能力,但回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
|
12 |
未来将会持续改进,改进的数据和模型将很快推出。\
|
|
|
13 |
使用方法:
|
14 |
```python
|
15 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
@@ -114,3 +115,4 @@ print('模型回答:', reply_return)
|
|
114 |
```
|
115 |
|
116 |
|
|
|
|
10 |
作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
|
11 |
此版本为v1,初步具有长对话能力,但回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
|
12 |
未来将会持续改进,改进的数据和模型将很快推出。\
|
13 |
+
此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。
|
14 |
使用方法:
|
15 |
```python
|
16 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
115 |
```
|
116 |
|
117 |
|
118 |
+
|