yuyijiong commited on
Commit
ecd5bf3
1 Parent(s): afe1ec7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -1
README.md CHANGED
@@ -7,7 +7,7 @@ language:
7
  pipeline_tag: text-generation
8
  ---
9
    此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
10
-   此版本为v1,初步具有长对话能力,但回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
11
    未来将会持续改进,改进的数据和模型将很快推出。\
12
    此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
13
  使用方法:
@@ -108,6 +108,7 @@ print('模型回答:', reply_return)
108
 
109
  模型回答:
110
  ```
 
111
  19世纪和20世纪初的欧洲和美国是第一波女权主义时期,其主要目标是通过法律争取女性权利,特别是选举权。 1848年,“女权主义”一词首次出现在《美国宣言》中。该词由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报》杂志上撰文时创造。
112
  综上所述,问题的答案是:19世纪和20世纪初。
113
  以上回答参考了文档-43。
 
7
  pipeline_tag: text-generation
8
  ---
9
    此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
10
+   此版本为v1,初步具有长对话能力,回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
11
    未来将会持续改进,改进的数据和模型将很快推出。\
12
    此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
13
  使用方法:
 
108
 
109
  模型回答:
110
  ```
111
+
112
  19世纪和20世纪初的欧洲和美国是第一波女权主义时期,其主要目标是通过法律争取女性权利,特别是选举权。 1848年,“女权主义”一词首次出现在《美国宣言》中。该词由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报》杂志上撰文时创造。
113
  综上所述,问题的答案是:19世纪和20世纪初。
114
  以上回答参考了文档-43。