Update README.md
Browse files
README.md
CHANGED
@@ -19,6 +19,7 @@ pipeline_tag: text-generation
|
|
19 |
| **Qwen-14b-chat-yarn-32k** |**0.94**|
|
20 |
| chatglm3-32k | 0.725 |
|
21 |
| Qwen-14b-chat | 0.525 |
|
|
|
22 |
| LongAlpaca-7b-32k-chinese-v2 | 0.12 |
|
23 |
| CausalLM-14b | 0.086 |
|
24 |
|
@@ -58,9 +59,10 @@ print(response)
|
|
58 |
# 历史版本
|
59 |
|发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
|
60 |
|:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
|
61 |
-
|2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 |
|
62 |
-
|2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 |
|
63 |
|2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
|
|
64 |
|2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
65 |
|
66 |
<br>
|
|
|
19 |
| **Qwen-14b-chat-yarn-32k** |**0.94**|
|
20 |
| chatglm3-32k | 0.725 |
|
21 |
| Qwen-14b-chat | 0.525 |
|
22 |
+
| Qwen-14b-chat-32k-lora | 0.34 |
|
23 |
| LongAlpaca-7b-32k-chinese-v2 | 0.12 |
|
24 |
| CausalLM-14b | 0.086 |
|
25 |
|
|
|
59 |
# 历史版本
|
60 |
|发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
|
61 |
|:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
|
62 |
+
|2023.10.20 | LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
|
63 |
+
|2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
|
64 |
|2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
65 |
+
|2023.11.28 |Qwen-14b-chat-32k-lora | Qwen-14b-chat | 动态 NTK | 指令微调 |长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
66 |
|2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
|
67 |
|
68 |
<br>
|