region:us
---
dataset_info:
  features:
  - name: uuid
    dtype: string
  - name: url
    dtype: string
  - name: title
    dtype: string
  - name: html_content
    dtype: string
  splits:
  - name: zh
    num_bytes: 4667272633
    num_examples: 39850
  - name: en
    num_bytes: 8180560380
    num_examples: 67374
  - name: ar
    num_bytes: 4456751663
    num_examples: 35807
  - name: ru
    num_bytes: 4311781034
    num_examples: 34774
  - name: es
    num_bytes: 5336518150
    num_examples: 44877
  - name: fr
    num_bytes: 5709424711
    num_examples: 46756
  download_size: 0
  dataset_size: 32662308571
---
# Dataset Card for "UN Sitemap Multilingual HTML Corpus"

## Update Time +8:00 2023-3-23 17:25:20

## Dataset Summary

此数据集是从联合国网站提供的的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。

数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。

## Dataset Structure

### Data Instances

- **数据集文件大小:** 约 14 GB


一个 'zh' 的例子如下：
```
{
  'uuid': 'a154688c-b385-4d2a-bec7-f239f1397d21',
  'url': 'https://news.un.org/zh/gallery/287612',
  'title': '印度尼西亚承诺到2022年消除一切形式的童工现象'，
  'html_content': '<!DOCTYPE html> <html lang="zh-hans" ...'
}
```


# How to use
```python
from datasets import load_dataset
import datasets


dataset = load_dataset('ranWang/UN_Sitemap_Multilingual_HTML_Corpus')

#   lang_list = ['zh', 'en', 'fr', 'es', 'ru', 'ar']
for lang in dataset:
    for colum in dataset[lang]:
#       colum.keys = ['uuid', 'url', 'title', 'html_content']
#       code...

OR 

# you want to specify the language
dataset = load_dataset('ranWang/UN_Sitemap_Multilingual_HTML_Corpus', split={lang})

for colum in dataset:
#   colum.keys = ['uuid', 'url', 'title', 'html_content']
#   code...



```