yuyijiong commited on
Commit
fa0fceb
1 Parent(s): a1c28d4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -4
README.md CHANGED
@@ -8,12 +8,12 @@ pipeline_tag: text-generation
8
  ---
9
  2023.10.25更新:改进版本已经推出,比这个版本强了很多。[LongAlpaca-7b-32k-chinese](https://huggingface.co/yuyijiong/LongAlpaca-7b-32k-chinese)
10
 
11
-   此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,
12
  通过线性位置插值,将文本长度从4k扩展到16k,可以完成上万字的多文档检索、论文总结等任务,而短对话能力几乎没有下降。
13
  作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力,而短对话能力严重下降。\
14
-   此版本为v1,初步具有长对话能力,回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
15
-   未来将会持续改进,改进的数据和模型已经推出。
16
-   此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
17
  使用方法:
18
  ```python
19
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
8
  ---
9
  2023.10.25更新:改进版本已经推出,比这个版本强了很多。[LongAlpaca-7b-32k-chinese](https://huggingface.co/yuyijiong/LongAlpaca-7b-32k-chinese)
10
 
11
+ * 此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,
12
  通过线性位置插值,将文本长度从4k扩展到16k,可以完成上万字的多文档检索、论文总结等任务,而短对话能力几乎没有下降。
13
  作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力,而短对话能力严重下降。\
14
+ * 此版本为v1,初步具有长对话能力,回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
15
+ * 未来将会持续改进,改进的数据和模型已经推出。
16
+ * 此模型最大支持16k输入长度,如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型,是因为32k长度的中文数据量不足。\
17
  使用方法:
18
  ```python
19
  from transformers import AutoModelForCausalLM, AutoTokenizer