size_categories:1M<n<10M language:ja license:cc-by-sa-3.0 license:gfdl region:us
---
language:
- ja
size_categories:
- 1M<n<10M
license:
- cc-by-sa-3.0
- gfdl
dataset_info:
  features:
  - name: id
    dtype: string
  - name: pageid
    dtype: int64
  - name: revid
    dtype: int64
  - name: paragraph_index
    dtype: int64
  - name: title
    dtype: string
  - name: section
    dtype: string
  - name: text
    dtype: string
  - name: html_tag
    dtype: string
  splits:
  - name: train
    num_bytes: 4417130987
    num_examples: 9668476
  download_size: 1489512230
  dataset_size: 4417130987
---

# Dataset Card for llm-book/jawiki-paragraphs

書籍『大規模言語モデル入門』で使用する Wikipedia 段落のデータセットです。
GitHub リポジトリ [singletongue/wikipedia-utils](https://github.com/singletongue/wikipedia-utils) で公開されているデータセットを利用しています。

## Licence

本データセットで使用している Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。
