Update README.md
Browse files
README.md
CHANGED
|
@@ -6,11 +6,13 @@ language:
|
|
| 6 |
- zh
|
| 7 |
pipeline_tag: text-generation
|
| 8 |
---
|
|
|
|
|
|
|
| 9 |
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调（只训练k_proj、q_proj、v_proj、o_proj、norm）得到，
|
| 10 |
通过线性位置插值，将文本长度从4k扩展到16k，可以完成上万字的多文档检索、论文总结等任务，而短对话能力几乎没有下降。
|
| 11 |
作为对比，原模型如果直接进行线性位置插值而不进行微调，在长度大于8k时几乎没有正常对话能力，而短对话能力严重下降。\
|
| 12 |
  此版本为v1，初步具有长对话能力，回答格式良好，但回答内容错误依然较多，回答经常出现与参考文档内容不一致的问题，可能是因为微调数据质量低（[yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据）。\
|
| 13 |
-
 &emsp
|
| 14 |
  此模型最大支持16k输入长度，如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型，是因为32k长度的中文数据量不足。\
|
| 15 |
使用方法：
|
| 16 |
```python
|
|
|
|
| 6 |
- zh
|
| 7 |
pipeline_tag: text-generation
|
| 8 |
---
|
| 9 |
+
2023.10.25更新：改进版本已经推出，比这个版本强了很多。[LongAlpaca-7b-32k-chinese](https://huggingface.co/yuyijiong/LongAlpaca-7b-32k-chinese)
|
| 10 |
+
|
| 11 |
  此模型由[atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)经过lora微调（只训练k_proj、q_proj、v_proj、o_proj、norm）得到，
|
| 12 |
通过线性位置插值，将文本长度从4k扩展到16k，可以完成上万字的多文档检索、论文总结等任务，而短对话能力几乎没有下降。
|
| 13 |
作为对比，原模型如果直接进行线性位置插值而不进行微调，在长度大于8k时几乎没有正常对话能力，而短对话能力严重下降。\
|
| 14 |
  此版本为v1，初步具有长对话能力，回答格式良好，但回答内容错误依然较多，回答经常出现与参考文档内容不一致的问题，可能是因为微调数据质量低（[yuyijiong/LongData-instruction-chinese](https://huggingface.co/datasets/yuyijiong/LongData-instruction-chinese) 都是谷歌翻译过来的英文数据）。\
|
| 15 |
+
  未来将会持续改进，改进的数据和模型已经推出。
|
| 16 |
  此模型最大支持16k输入长度，如果超长仍然会出现答案错乱的问题。暂时没有训练32k的模型，是因为32k长度的中文数据量不足。\
|
| 17 |
使用方法：
|
| 18 |
```python
|