task_categories:text-generation language:zh language:en license:apache-2.0 mnbvc Wikipedia region:us
---
license: apache-2.0
task_categories:
- text-generation
language:
- zh
- en
tags:
- mnbvc
- Wikipedia
---

# zhwiki-mnbvc

分项目：爬取并处理[中文维基百科](https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5)语料

数据时间：202302-202305 （持续更新）

主项目：MNBVC(Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集 https://github.com/esbatmop/MNBVC

该项目清洗流程主要参考：https://kexue.fm/archives/4176/comment-page-1

并且使用组员开发的[去重工具](https://github.com/aplmikex/deduplication_mnbvc)进行数据格式化。

总行数（样本）: 10,754,146

一个示例：

```json
{
  "文件名": "cleaned/zhwiki-20230420/folder_0/723712.txt",
  "是否待查文件": false,
  "是否重复文件": false,
  "文件大小": 558,
  "simhash": 14363740497821204542,
  "最长段落长度": 142,
  "段落数": 6,
  "去重段落数": 6,
  "低质量段落数": 0,
  "段落": [
    {
      "行号": 0,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "39a3b4c7a4785d88c7c7d774364ea17e",
      "内容": "【龙州 (唐朝)】"
    },
    {
      "行号": 1,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "856bdf443999603f349625a56a5e92d6",
      "内容": "龙州，中国古代的州，今龙州县的前身。"
    },
    {
      "行号": 2,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "45fd3b9dc612d6235b5653d1a5b40688",
      "内容": "唐朝武德四年（621年）设置的州，治所在龙城县（今广西壮族自治区龙州县北），辖两县：龙城县、柳岭县。贞观七年（633年），柳岭县并入龙城县，撤销龙州，龙城县归南昆州管辖。元朝设万户府，移治今龙州。明朝洪武初年，复为龙州。清朝雍正三年（1725年）废为龙州县，今属广西壮族自治区崇左市。"
    },
    {
      "行号": 4,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "8756367c3ee308f3875ed8e942a6e377",
      "内容": "== 参考文献 =="
    },
    {
      "行号": 5,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "6db73b5b7c22fb1bcf7829fbe585043f",
      "内容": "* 《旧唐书·地理志》"
    },
    {
      "行号": 6,
      "是否重复": false,
      "是否跨文件重复": false,
      "md5": "38b370ac9f61b116d4f6c98873ffc4bd",
      "内容": "* 《明史·地理志》"
    }
  ],
  "文件日期": "2023-04-20"
}

```

