task_categories:text-generation task_categories:fill-mask task_ids:language-modeling task_ids:masked-language-modeling annotations_creators:other language_creators:other multilinguality:monolingual size_categories:unknown source_datasets:original language:zh license:mit region:us
MNBVC: Massive Never-ending BT Vast Chinese corpus
\
---
annotations_creators:
- other
language:
- zh
language_creators:
- other
license:
- mit
multilinguality:
- monolingual
pretty_name: MNBVC_ready
size_categories:
- unknown
source_datasets:
- original
task_categories:
- text-generation
- fill-mask
task_ids:
- language-modeling
- masked-language-modeling
---

## Dataset Description

- **Homepage:** http://mnbvc.253874.net/
- **Repository:** https://github.com/esbatmop/MNBVC
- **Paper:** N/A
- **Leaderboard:** N/A
- **Point of Contact:** N/A

（正在进行中）本仓库希望将已经发布在huggingface上的高质量的几个子集处理成纯文本格式，方便大家训练模型的时候使用。

原MNBVC仓库的文本数据的组织格式并不是可以直接用来训练的纯文本数据，而是将每个文件内的各行文本分别存储（为了方便去重等操作）的jsonl格式(如下所示)


```json
{
    "文件名": datasets.Value("string"),
    "是否待查文件": datasets.Value("bool"),
    "是否重复文件": datasets.Value("bool"),
    "文件大小": datasets.Value("int32"),
    "simhash": datasets.Value("uint64"),
    "最长段落长度": datasets.Value("int32"),
    "段落数": datasets.Value("int32"),
    "去重段落数": datasets.Value("int32"),
    "低质量段落数": datasets.Value("int32"),
    "段落": [
        datasets.Features(
            {
                "行号": datasets.Value("int32"),
                "是否重复": datasets.Value("bool"),
                "是否跨文件重复": datasets.Value("bool"),
                "md5": datasets.Value("string"),
                "内容": datasets.Value("string"),
            }
        )
    ]
}
```

### 问答数据
问答数据使用如下格式组织：
```json
{
    "id": datasets.Value("int32"),
    "问": datasets.Value("string"),
    "答": datasets.Value("string"),
    "来源": datasets.Value("string"),
    "元数据": {
        "create_time": datasets.Value("string"),
        "问题明细": datasets.Value("string"),
        "回答明细": datasets.Value("string"),
        "扩展字段": datasets.Value("string"),
    }
}
```

项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：
```json
{
    "text": datasets.Value("string"),
    "meta": datasets.Value("string")
}
```