Update README.md
Browse files
README.md
CHANGED
@@ -7,7 +7,7 @@ language:
|
|
7 |
pipeline_tag: text-generation
|
8 |
---
|
9 |
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
|
10 |
-
  此版本为v1
|
11 |
  未来将会持续改进,改进的数据和模型将很快推出。\
|
12 |
  此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
|
13 |
使用方法:
|
@@ -108,6 +108,7 @@ print('模型回答:', reply_return)
|
|
108 |
|
109 |
模型回答:
|
110 |
```
|
|
|
111 |
19世纪和20世纪初的欧洲和美国是第一波女权主义时期,其主要目标是通过法律争取女性权利,特别是选举权。 1848年,“女权主义”一词首次出现在《美国宣言》中。该词由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报》杂志上撰文时创造。
|
112 |
综上所述,问题的答案是:19世纪和20世纪初。
|
113 |
以上回答参考了文档-43。
|
|
|
7 |
pipeline_tag: text-generation
|
8 |
---
|
9 |
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
|
10 |
+
  此版本为v1,初步具有长对话能力,回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
|
11 |
  未来将会持续改进,改进的数据和模型将很快推出。\
|
12 |
  此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
|
13 |
使用方法:
|
|
|
108 |
|
109 |
模型回答:
|
110 |
```
|
111 |
+
|
112 |
19世纪和20世纪初的欧洲和美国是第一波女权主义时期,其主要目标是通过法律争取女性权利,特别是选举权。 1848年,“女权主义”一词首次出现在《美国宣言》中。该词由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报》杂志上撰文时创造。
|
113 |
综上所述,问题的答案是:19世纪和20世纪初。
|
114 |
以上回答参考了文档-43。
|