multilinguality:monolingual size_categories:100M<n<1B source_datasets:wikipedia language:zh license:cc-by-sa-4.0 region:us
---
license: cc-by-sa-4.0
language:
- zh
multilinguality:
- monolingual
pretty_name: wiki_tw
size_categories:
- 100M<n<1B
source_datasets:
- wikipedia
dataset_info:
  features:
    - name: title
      dtype: string
    - name: article
      dtype: string
extra_gated_prompt: "You agree to not attempt to determine the identity of individuals in this dataset"
extra_gated_fields:
 Company: text
 Country: text
 I agree to use this dataset for non-commercial use ONLY: checkbox
---
要搞自己的大型語言模型，最基本的基本，就是需要一大堆文字資料，從 Common Crawl 上頭抓回來慢慢清洗是一條路，清洗維基百科網站的週期性下載檔也是一個方法。本資料集是解析自[維基百科於 20230701 發布的繁體中文版打包檔](https://dumps.wikimedia.org/zhwiki/20230701/) bz2 檔案的內容，在解析出所需內容後，利用 [wikitextparser](https://wikitextparser.readthedocs.io/en/latest/) 移除 Wiki 標記。解析後保留的欄位有兩個：條目名稱（title），條目內容（page article）。

原始的打包檔條目內容簡繁混雜，所以有利用 OpenCC 進行簡轉繁處理。

* 原始總條目數: 4,296,654 條目。
* 全部 4,296,249 個條目標題。
* 全部 4,296,249 個條目內容。
* 無法自動去標記的條目數: 5,415
* 有內容的條目數: 4,296,249

因為本資料集內容龐大，要塞進一般的個人電腦中進行計算，恐怕會有資源不足的情形。建議使用[parquet](https://huggingface.co/docs/datasets/loading#parquet)格式下載使用。

資料集當中有不少內容為 #REDIRECT 的條目，就等以後有空推出修正版再來清洗了。