Update README.md
Browse files
README.md
CHANGED
|
@@ -15,6 +15,17 @@ pipeline_tag: text-generation
|
|
| 15 |
| LongAlpaca-7b-32k-chinese | atom-7b | 8k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
|
| 16 |
| LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
| 17 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 18 |
## 使用方法：
|
| 19 |
```python
|
| 20 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
|
| 15 |
| LongAlpaca-7b-32k-chinese | atom-7b | 8k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
|
| 16 |
| LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
| 17 |
|
| 18 |
+
|
| 19 |
+
## Longbench 评估结果
|
| 20 |
+
| 数据集 | 任务类型 | 评测指标 | 得分 |
|
| 21 |
+
| ---- | ---- |---- |---- |
|
| 22 |
+
| dureader | 多文档QA |rouge-L |0.1381 |
|
| 23 |
+
| multifield_qa | 单文档QA |rouge-L |0.2533 |
|
| 24 |
+
| vcsum | 总结 |rouge-L |0.16289 |
|
| 25 |
+
| lsht | 文本分类 |Accuracy |0.4064 |
|
| 26 |
+
| passage_retrieval | 文本检索 |Accuracy |0.065 |
|
| 27 |
+
|
| 28 |
+
|
| 29 |
## 使用方法：
|
| 30 |
```python
|
| 31 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|