task_categories:text-generation task_categories:fill-mask size_categories:1M<n<10M language:zh license:cc-by-sa-3.0 region:us
---
dataset_info:
  config_name: '20231001'
  features:
  - name: id
    dtype: string
  - name: url
    dtype: string
  - name: title
    dtype: string
  - name: text
    dtype: string
  splits:
  - name: train
    num_bytes: 1682641991
    num_examples: 1373081
  download_size: 1064907519
  dataset_size: 1682641991
configs:
- config_name: '20231001'
  data_files:
  - split: train
    path: 20231001/train-*
license: cc-by-sa-3.0
task_categories:
- text-generation
- fill-mask
language:
- zh
size_categories:
- 1M<n<10M
---
# Dataset Card for "wikipedia-zhtw"

維基百科數據集包含許多不同語言的文章。這個數據集是根據 Wikipedia dumps (https://dumps.wikimedia.org/) 裡頭 `zhwiki` 的中文下載檔案來建構的。每個範例都包含一篇完整的維基百科文章的內容，並經過清理以去除不需要的部分(例如參考文獻等)。

- **Homepage:** [https://dumps.wikimedia.org](https://dumps.wikimedia.org)
- **zhwiki 下載點:** [https://dumps.wikimedia.org/zhwiki](https://dumps.wikimedia.org/zhwiki)

## 數據 Dump 版本

由於維基百科數據集定期會進行網站數據拋轉，在 `2023/10/10` 的時間點去查看時會有下列的數據可供下載:

|數據 Dump 目錄|拋轉時間點|
|-------------|--------|
|`20230620/`|01-Aug-2023 09:31|
|`20230701/`|20-Aug-2023 09:41|
|`20230720/`|01-Sep-2023 09:31|
|`20230801/`|20-Sep-2023 09:38|
|`20230820/`|01-Oct-2023 09:34|
|`20230901/`|04-Sep-2023 21:18|
|`20230920/`|22-Sep-2023 01:59|
|`20231001/`|10-Oct-2023 02:55|
|`latest/`|10-Oct-2023 02:55|

本數據集會定期去取得最近有明確的日期來進行下載與清理，便於驗證與使用。

## 數據下載清理

1. 下載 zhwiki 的 data dump 檔案
2. 使用 [WikiExtractor](https://github.com/attardi/wikiextractor) 套件來進行文件內容萃取
3. 進行數據清理并轉換成 jsonl 格式檔案
4. 使用 Huggingface [Datasets](https://pypi.org/project/datasets/) 套件來載入 jsonl 并上傳至 Huggingface Hub

## 資料集結構

範例如下：

{'id': '333',
 'url': 'https://zh.wikipedia.org/wiki?curid=333',
 'title': '鄧麗君',
 'text': '鄧麗君，臺灣歌手、演員及慈善家，本名鄧麗筠。她是20世紀後期華語流行音樂具代表性的人物...'
}

## 資料欄位

所有配置中的資料欄位都是相同的：

- `id (str)`: 文章的 ID。
- `url (str)`: 文章的 URL。
- `title (str)`: 文章的標題。
- `text (str)`: 文章的文字內容。

## 使用

```python
from datasets import load_dataset

# 請在第二個參數去指定要使用的數據 dump 的日期
load_dataset("erhwenkuo/wikipedia-zhtw", "20231001")
```

## 許可資訊

維基百科的大部分文章內容及其許多圖像均根據 `Creative Commons Attribution-ShareAlike 3.0 Unported License (CC BY-SA)` 和 `GNU Free Documentation License (GFDL)` 共同授權。

## Citation

```
@ONLINE{wikidump,
    author = "Wikimedia Foundation",
    title  = "Wikimedia Downloads",
    url    = "https://dumps.wikimedia.org"
}
```