Chrislu commited on
Commit
789b6ed
1 Parent(s): 331cb20

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -9
README.md CHANGED
@@ -10,15 +10,18 @@
10
  chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型。它基于bge-m3-retromae[1],实现了预训练、微调、精调全流程。该模型在来自各个领域的大量语料库上进行训练,语料库的批量非常大。截至 2024 年 8 月 27 日,chuxin-embedding 在检索任务中表现出色,在 C-MTEB 排行榜上排名第一,领先的性能得分为 78.23。
11
 
12
  ## News
13
- - 2024/9/4:xxx
14
- - 2024/9/4:xxx
15
 
16
  ## Training Details
17
  基于bge-m3-retromae[1],主要改动如下:
18
  <!-- Provide a longer summary of what this model is. -->
19
- - 基于bge-m3-retromae[1]在亿级数据上实现了预训练。
 
20
  - 在收集的公开亿级检索数据集上实现了微调。
 
21
  - 在收集的公开百万级检索数据集和百万级LLM合成数据集上实现了精调。
 
22
  - 通过 LLM (QWEN-72B) 进行数据生成,使用 LLM 为message生成新query
23
  - 数据清洗:
24
  - 简单的基于规则清洗
@@ -26,12 +29,13 @@ chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型
26
  - rerank模型对(query,message)评分,舍弃pos中的负例,neg中的正例
27
 
28
  ## Collect more data for retrieval-type tasks
29
- 1. MTP
30
- 2. BGE-LARGE-zh data
31
- 3. PEG data
32
- 4. BGE-M3 data
33
- 5. miracl/miracl
34
- 6. FreedomIntelligence/Huatuo26M-Lite
 
35
 
36
  ## Performance
37
  **C_MTEB RETRIEVAL**
 
10
  chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型。它基于bge-m3-retromae[1],实现了预训练、微调、精调全流程。该模型在来自各个领域的大量语料库上进行训练,语料库的批量非常大。截至 2024 年 8 月 27 日,chuxin-embedding 在检索任务中表现出色,在 C-MTEB 排行榜上排名第一,领先的性能得分为 78.23。
11
 
12
  ## News
13
+ - 2024/9/4: LLM生成及数据清洗 [Code](https://github.com/chuxin-llm/Chuxin-Embedding) coming soon 。
14
+ - 2024/9/4: 团队的RAG框架欢迎试用 [ragnify](https://github.com/chuxin-llm/ragnify) 。
15
 
16
  ## Training Details
17
  基于bge-m3-retromae[1],主要改动如下:
18
  <!-- Provide a longer summary of what this model is. -->
19
+ - 基于bge-m3-retromae[1]在亿级数据上预训练。
20
+ - 使用BGE pretrain [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/pretrain) 完成预训练。
21
  - 在收集的公开亿级检索数据集上实现了微调。
22
+ - 使用BGE finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune) 完成微调。
23
  - 在收集的公开百万级检索数据集和百万级LLM合成数据集上实现了精调。
24
+ - 使用BGE finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune) 和 BGE unified_finetune [Code](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/unified_finetune) 完成精调。
25
  - 通过 LLM (QWEN-72B) 进行数据生成,使用 LLM 为message生成新query
26
  - 数据清洗:
27
  - 简单的基于规则清洗
 
29
  - rerank模型对(query,message)评分,舍弃pos中的负例,neg中的正例
30
 
31
  ## Collect more data for retrieval-type tasks
32
+ 1. ChineseWebText, oasis, oscar, SkyPile, wudao 预训练阶段
33
+ 2. MTP 微调阶段
34
+ 3. BGE-LARGE-zh data
35
+ 4. PEG data
36
+ 5. BGE-M3 data
37
+ 6. miracl/miracl
38
+ 7. FreedomIntelligence/Huatuo26M-Lite
39
 
40
  ## Performance
41
  **C_MTEB RETRIEVAL**