language:ja license:cc-by-3.0 region:us
---
license: cc-by-3.0
dataset_info:
  features:
  - name: article_title
    dtype: string
  - name: topic_title
    dtype: string
  - name: text
    dtype: string
  splits:
  - name: train
    num_bytes: 7170293044
    num_examples: 31888063
  download_size: 3521442667
  dataset_size: 7170293044
language:
- ja
---

# Jawiki Sentences Dataset
このデータセットは、日本語版Wikipediaの記事を元に作成されました。原文からできる限り不要なタグや表など文章にならないものを取り除いています。各エントリーには、その文が含まれる記事タイトル、セクションタイトルを含めています。

## データの構造
各エントリーは以下の3つのフィールドからなります:

- article_title: 記事のタイトルを表す文字列。
- topic_title: 記事のセクションタイトルを表す文字列。
- text: セクションのテキストを表す文字列。

## データの生成
このデータセットは、下記スクリプトで日本語Wikipediaダンプファイルから生成しています。
https://github.com/tet550/jawiki_sentences

## ライセンス
ウィキペディアのコンテンツは Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0) および GNU Free Documentation License (GFDL) の下にライセンスされています。
このデータセットも同ライセンスに準じます。
