task_categories:text-generation size_categories:1M<n<10M language:zh region:us
---
dataset_info:
  features:
  - name: pageid
    dtype: int64
  - name: html
    dtype: string
  - name: markdown
    dtype: string
  - name: coordinate
    struct:
    - name: globe
      dtype: string
    - name: lat
      dtype: float64
    - name: lon
      dtype: float64
  - name: length
    dtype: int64
  - name: touched
    dtype: string
  - name: lastrevid
    dtype: int64
  - name: original_title
    dtype: string
  splits:
  - name: train
    num_bytes: 21930303312
    num_examples: 2533212
  download_size: 0
  dataset_size: 21930303312
task_categories:
- text-generation
language:
- zh
pretty_name: 台灣正體中文維基百科 (zh-tw Wikipedia)
size_categories:
- 1M<n<10M
---

# 台灣正體中文維基百科 (zh-tw Wikipedia)

截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。

A nearly-complete collection of 2,533,212 Traditional Chinese (`zh-tw`) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using [vinta/pangu.py](https://github.com/vinta/pangu.py).

於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 [`action=query`](https://zh.wikipedia.org/w/api.php?action=help&modules=query) & [`prop=extracts`](https://zh.wikipedia.org/w/api.php?action=help&modules=query%2Bextracts) API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。

For development usage, checkout [`zetavg/zh-tw-wikipedia-dev`](https://huggingface.co/datasets/zetavg/zh-tw-wikipedia-dev), which is a subset that contains only 1,000 randomly picked items.

## 資料內容

* `pageid` — 維基百科頁面 ID。
* `html` — 頁面原始的 HTML 匯出。
* `markdown` — 頁面轉換為 Markdown 格式，並以 [vinta/pangu.py](https://github.com/vinta/pangu.js) 於全形字與半形字之間加入空格後的版本。
* `coordinate` — 頁面主題的經緯度座標，例如 `{ "lat": 22.63333333, "lon": 120.26666667 }`。若無則為 `null`。
* `length` — 頁面內容長度。
* `touched` — 頁面的最後修訂時間。
* `lastrevid` — 最新修訂版本的修訂 ID。
* `original_title` — 維基百科未經轉換的原始頁面標題，可能為簡體中文。

## 已知問題

* 無法抽取為 *受限格式 HTML* 的內容皆會遺失，例如所有圖片、圖表、表格、參考資料列表，以及部分程式碼區塊。
* 極少數內容過長的條目沒有納入，大致上計有：`四千`、`五千`、`六千`、`英雄傳說VI`、`軌跡系列角色列表`、`碧之軌跡角色列表`、`零之軌跡角色列表`。
* 缺少頁面標題 `title` 欄位（原可透過 API `inprop=varianttitles` 取得，但資料抓取時程式撰寫遺漏了這個欄位）。