yuyijiong commited on
Commit
414ef34
1 Parent(s): 425d365

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -1
README.md CHANGED
@@ -8,7 +8,8 @@ pipeline_tag: text-generation
8
  ---
9
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。\
10
  作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
11
- 此版本为v1,初步具有长对话能力,但回答错误依然较多,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。未来将会持续改进,改进版本很快推出。\
 
12
  使用方法:
13
  ```python
14
  from transformers import AutoModelForCausalLM, AutoTokenizer
@@ -39,6 +40,7 @@ with torch.no_grad():
39
 
40
  reply = tokenizer.decode(output[0], skip_special_tokens=False)
41
  reply_return=reply.split('Assistant:')[-1].replace('</s>', '')
 
42
  print('模型回答:', reply_return)
43
  ```
44
 
 
8
  ---
9
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调(只训练k_proj、q_proj、v_proj、o_proj、norm)得到,通过线性位置插值,将文本长度从4k扩展到16k,可以完成多文档检索、论文总结等任务。\
10
  作为对比,原模型如果直接进行线性位置插值而不进行微调,在长度大于8k时几乎没有正常对话能力。\
11
+ 此版本为v1,初步具有长对话能力,但回答格式良好,但回答内容错误依然较多,回答经常出现与参考文档内容不一致的问题,可能是因为微调数据质量低([yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据)。\
12
+ 未来将会持续改进,改进的数据和模型将很快推出。\
13
  使用方法:
14
  ```python
15
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
40
 
41
  reply = tokenizer.decode(output[0], skip_special_tokens=False)
42
  reply_return=reply.split('Assistant:')[-1].replace('</s>', '')
43
+
44
  print('模型回答:', reply_return)
45
  ```
46