yuyijiong
/

atom-7b-chat-16k

@@ -6,7 +6,9 @@ language:
 - zh
 pipeline_tag: text-generation
 ---
-&emsp;&emsp;此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调（只训练k_proj、q_proj、v_proj、o_proj、norm）得到，通过线性位置插值，将文本长度从4k扩展到16k，可以完成多文档检索、论文总结等任务。作为对比，原模型如果直接进行线性位置插值而不进行微调，在长度大于8k时几乎没有正常对话能力。\
 &emsp;&emsp;此版本为v1，初步具有长对话能力，回答格式良好，但回答内容错误依然较多，回答经常出现与参考文档内容不一致的问题，可能是因为微调数据质量低（[yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据）。\
 &emsp;&emsp;未来将会持续改进，改进的数据和模型将很快推出。\
 &emsp;&emsp;此模型最大支持16k输入长度，如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型，是因为32k长度的中文数据量不足。\
@@ -54,6 +56,7 @@ print('模型回答：', reply_return)
 文档-4：（标题：1960 年代）20 世纪 60 年代新兴的理想主义。 20 世纪 60 年代初，第二波女权主义浪潮在美国和世界各地兴起。 20世纪初的第一波浪潮的重点是获得选举权和推翻“法律上”的不平等，而第二波浪潮的重点是改变文化和社会规范以及与妇女相关的“事实上的”不平等。当时，女性的地位通常被认为是在家里，她们被排除在许多工作和职业之外。在美国，总统妇女地位委员会发现，在以下领域存在对妇女的歧视：
 文档-5：（标题：美国的女权主义）美国始于20世纪90年代初。 1991年，安妮塔·希尔（Anita Hill）指控美国最高法院提名的克拉伦斯·托马斯（Clarence Thomas）性骚扰。托马斯否认了这些指控，经过广泛辩论，美国参议院以 52 比 48 投票支持托马斯。 1992年，针对安妮塔·希尔性骚扰案，美国女权主义者丽贝卡·沃克在《女士》杂志上发表题为《成为第三波浪潮》的文章，文中她表示：“我不是后女权主义女权主义者，我是第三波女权主义者。” -波”，创造了“第三波”一词。同样是在 1992 年，Third Wave Direct Action Corporation 成立
 文档-6：（标题：第二波女权主义）女权主义于 20 世纪 80 年代初以女权主义性战争结束，并于 1990 年代初被第三波女权主义所取代。 1967年，在伦敦举行的国际妇女联盟大会上，代表们了解到联合国妇女地位委员会发起的一项研究和评估本国妇女状况的倡议。许多组织和非政府组织，如商业和职业妇女协会、职业妇女福利互助会俱乐部以及教学和护理协会，都成立了委员会，以响应该倡议，准备对妇女状况进行评估，并敦促本国政府
 文档-7：（标题：第一波女权主义）有但不能有，而男人可以。据说，许多第一波白人基本女权主义者与有色人种女性结盟，但当她们认为自己可以为中产阶级白人女性取得进步时却保持沉默。第一波女权主义 第一波女权主义是 19 世纪和 20 世纪初整个西方世界发生的女权主义活动和思想的时期。它的重点是法律问题，主要是获得投票权。 “第一波”一词是由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报杂志》上撰文创造的。
 文档-8：（标题：女性反对女权主义）社交媒体上，女性反对女权主义仍然出现在博客平台上——但现在，有更多直言不讳的反对者。女性反对女权主义的重大历史运动始于19世纪。 1848年，由苏珊·B·安东尼和伊丽莎白·斯塔顿发起的“妇女运动”之后，为妇女投票权而斗争的反主流文化，即第一波反女权运动开始了。这个时代的反女权主义者相信传统的生活方式受到了女权主义议程的威胁。反女权主义者反对妇女在公共和私人领域、劳动力以及任何与生育自由相关的权利。早期期间
 文档-9：（标题：第二波女权主义）莱文，《女权主义的重生》，1971 年，第 17 页。 120）。会议结束后，少数妇女成立了西雅图第一个妇女解放组织。第二波女权运动也标志着妇女研究作为一个合法研究领域的出现。 1970 年，圣地亚哥州立大学成为美国第一所提供妇女研究精选课程的大学。 1977 年在德克萨斯州休斯顿举行的全国妇女会议为妇女解放团体提供了解决众多妇女问题的机会。在这次会议上，来自全国各地的代表齐聚一堂，制定了一项国家行动计划，

 - zh
 pipeline_tag: text-generation
 ---
+&emsp;&emsp;此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调（只训练k_proj、q_proj、v_proj、o_proj、norm）得到，
+通过线性位置插值，将文本长度从4k扩展到16k，可以完成上万字的多文档检索、论文总结等任务，而短对话能力几乎没有下降。
+作为对比，原模型如果直接进行线性位置插值而不进行微调，在长度大于8k时几乎没有正常对话能力，而短对话能力严重下降。\
 &emsp;&emsp;此版本为v1，初步具有长对话能力，回答格式良好，但回答内容错误依然较多，回答经常出现与参考文档内容不一致的问题，可能是因为微调数据质量低（[yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据）。\
 &emsp;&emsp;未来将会持续改进，改进的数据和模型将很快推出。\
 &emsp;&emsp;此模型最大支持16k输入长度，如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型，是因为32k长度的中文数据量不足。\
 文档-4：（标题：1960 年代）20 世纪 60 年代新兴的理想主义。 20 世纪 60 年代初，第二波女权主义浪潮在美国和世界各地兴起。 20世纪初的第一波浪潮的重点是获得选举权和推翻“法律上”的不平等，而第二波浪潮的重点是改变文化和社会规范以及与妇女相关的“事实上的”不平等。当时，女性的地位通常被认为是在家里，她们被排除在许多工作和职业之外。在美国，总统妇女地位委员会发现，在以下领域存在对妇女的歧视：
 文档-5：（标题：美国的女权主义）美国始于20世纪90年代初。 1991年，安妮塔·希尔（Anita Hill）指控美国最高法院提名的克拉伦斯·托马斯（Clarence Thomas）性骚扰。托马斯否认了这些指控，经过广泛辩论，美国参议院以 52 比 48 投票支持托马斯。 1992年，针对安妮塔·希尔性骚扰案，美国女权主义者丽贝卡·沃克在《女士》杂志上发表题为《成为第三波浪潮》的文章，文中她表示：“我不是后女权主义女权主义者，我是第三波女权主义者。” -波”，创造了“第三波”一词。同样是在 1992 年，Third Wave Direct Action Corporation 成立
 文档-6：（标题：第二波女权主义）女权主义于 20 世纪 80 年代初以女权主义性战争结束，并于 1990 年代初被第三波女权主义所取代。 1967年，在伦敦举行的国际妇女联盟大会上，代表们了解到联合国妇女地位委员会发起的一项研究和评估本国妇女状况的倡议。许多组织和非政府组织，如商业和职业妇女协会、职业妇女福利互助会俱乐部以及教学和护理协会，都成立了委员会，以响应该倡议，准备对妇女状况进行评估，并敦促本国政府
 文档-7：（标题：第一波女权主义）有但不能有，而男人可以。据说，许多第一波白人基本女权主义者与有色人种女性结盟，但当她们认为自己可以为中产阶级白人女性取得进步时却保持沉默。第一波女权主义 第一波女权主义是 19 世纪和 20 世纪初整个西方世界发生的女权主义活动和思想的时期。它的重点是法律问题，主要是获得投票权。 “第一波”一词是由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报杂志》上撰文创造的。
 文档-8：（标题：女性反对女权主义）社交媒体上，女性反对女权主义仍然出现在博客平台上——但现在，有更多直言不讳的反对者。女性反对女权主义的重大历史运动始于19世纪。 1848年，由苏珊·B·安东尼和伊丽莎白·斯塔顿发起的“妇女运动”之后，为妇女投票权而斗争的反主流文化，即第一波反女权运动开始了。这个时代的反女权主义者相信传统的生活方式受到了女权主义议程的威胁。反女权主义者反对妇女在公共和私人领域、劳动力以及任何与生育自由相关的权利。早期期间
 文档-9：（标题：第二波女权主义）莱文，《女权主义的重生》，1971 年，第 17 页。 120）。会议结束后，少数妇女成立了西雅图第一个妇女解放组织。第二波女权运动也标志着妇女研究作为一个合法研究领域的出现。 1970 年，圣地亚哥州立大学成为美国第一所提供妇女研究精选课程的大学。 1977 年在德克萨斯州休斯顿举行的全国妇女会议为妇女解放团体提供了解决众多妇女问题的机会。在这次会议上，来自全国各地的代表齐聚一堂，制定了一项国家行动计划，