Update README.md
Browse files
README.md
CHANGED
@@ -10,15 +10,18 @@
|
|
10 |
chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型。它基于bge-m3-retromae[1],实现了预训练、微调、精调全流程。该模型在来自各个领域的大量语料库上进行训练,语料库的批量非常大。截至 2024 年 8 月 27 日,chuxin-embedding 在检索任务中表现出色,在 C-MTEB 排行榜上排名第一,领先的性能得分为 78.23。
|
11 |
|
12 |
## News
|
13 |
-
- 2024/9/4:
|
14 |
-
- 2024/9/4:
|
15 |
|
16 |
## Training Details
|
17 |
基于bge-m3-retromae[1],主要改动如下:
|
18 |
<!-- Provide a longer summary of what this model is. -->
|
19 |
-
- 基于bge-m3-retromae[1]
|
|
|
20 |
- 在收集的公开亿级检索数据集上实现了微调。
|
|
|
21 |
- 在收集的公开百万级检索数据集和百万级LLM合成数据集上实现了精调。
|
|
|
22 |
- 通过 LLM (QWEN-72B) 进行数据生成,使用 LLM 为message生成新query
|
23 |
- 数据清洗:
|
24 |
- 简单的基于规则清洗
|
@@ -26,12 +29,13 @@ chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型
|
|
26 |
- rerank模型对(query,message)评分,舍弃pos中的负例,neg中的正例
|
27 |
|
28 |
## Collect more data for retrieval-type tasks
|
29 |
-
1.
|
30 |
-
2.
|
31 |
-
3.
|
32 |
-
4.
|
33 |
-
5.
|
34 |
-
6.
|
|
|
35 |
|
36 |
## Performance
|
37 |
**C_MTEB RETRIEVAL**
|
|
|
10 |
chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型。它基于bge-m3-retromae[1],实现了预训练、微调、精调全流程。该模型在来自各个领域的大量语料库上进行训练,语料库的批量非常大。截至 2024 年 8 月 27 日,chuxin-embedding 在检索任务中表现出色,在 C-MTEB 排行榜上排名第一,领先的性能得分为 78.23。
|
11 |
|
12 |
## News
|
13 |
+
- 2024/9/4: LLM生成及数据清洗 [Code](https://github.com/chuxin-llm/Chuxin-Embedding) coming soon 。
|
14 |
+
- 2024/9/4: 团队的RAG框架欢迎试用 [ragnify](https://github.com/chuxin-llm/ragnify) 。
|
15 |
|
16 |
## Training Details
|
17 |
基于bge-m3-retromae[1],主要改动如下:
|
18 |
<!-- Provide a longer summary of what this model is. -->
|
19 |
+
- 基于bge-m3-retromae[1]在亿级数据上预训练。
|
20 |
+
- 使用BGE pretrain [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/pretrain) 完成预训练。
|
21 |
- 在收集的公开亿级检索数据集上实现了微调。
|
22 |
+
- 使用BGE finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune) 完成微调。
|
23 |
- 在收集的公开百万级检索数据集和百万级LLM合成数据集上实现了精调。
|
24 |
+
- 使用BGE finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune) 和 BGE unified_finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/unified_finetune) 完成精调。
|
25 |
- 通过 LLM (QWEN-72B) 进行数据生成,使用 LLM 为message生成新query
|
26 |
- 数据清洗:
|
27 |
- 简单的基于规则清洗
|
|
|
29 |
- rerank模型对(query,message)评分,舍弃pos中的负例,neg中的正例
|
30 |
|
31 |
## Collect more data for retrieval-type tasks
|
32 |
+
1. ChineseWebText, oasis, oscar, SkyPile, wudao 预训练阶段
|
33 |
+
2. MTP 微调阶段
|
34 |
+
3. BGE-LARGE-zh data
|
35 |
+
4. PEG data
|
36 |
+
5. BGE-M3 data
|
37 |
+
6. miracl/miracl
|
38 |
+
7. FreedomIntelligence/Huatuo26M-Lite
|
39 |
|
40 |
## Performance
|
41 |
**C_MTEB RETRIEVAL**
|