task_categories:text-generation task_categories:question-answering multilinguality:multilingual size_categories:10K<n<100K language:en language:ja license:cc-by-sa-4.0 region:us
---
language:
- en
- ja
license: cc-by-sa-4.0
multilinguality:
- multilingual
size_categories:
- 10K<n<100K
task_categories:
- text-generation
- question-answering
pretty_name: Japanese Stack Echange Dataset
dataset_info:
  features:
  - name: id
    dtype: string
  - name: title
    dtype: string
  - name: question
    dtype: string
  - name: answer
    dtype: string
  - name: question_score
    dtype: int64
  - name: answer_score
    dtype: int64
  - name: tags
    sequence: string
  splits:
  - name: train
    num_bytes: 45741049
    num_examples: 26944
  download_size: 28117047
  dataset_size: 45741049
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
---

# Japanese Stack Exchange Dataset

日本語に関する質問を英語で行うことができる [Japanese Stack Exchange](https://japanese.stackexchange.com/) の[データダンプ](https://archive.org/download/stackexchange) をもとにデータを加工し、質問文と回答文のペアになるように調整した QA データセット。

## 使い方

datasets ライブラリを用いて簡単に利用できます。

```py
from datasets import load_dataset, load_from_disk

dataset = load_dataset("p1atdev/jexchange", split="train")

print(dataset)
#Dataset({
#    features: ['id', 'title', 'question', 'answer', 'question_score', 'answer_score', 'tags'],
#    num_rows: 26944
#})
```

## データ構造

- id: 質問投稿の ID
- title: 質問タイトル
- question: 質問の本文
- answer: 回答の本文
- question_score: 質問文に対する評価
- answer_score: 回答に対する評価 (ただし、質問者が良いと選んだ場合は10点加算されています)
- tags: 質問に付与されているタグ

`question` と `answer` については、 `html2text` を用いてマークダウン形式に変換されています。ただし、コードブロックは `[code][/code]` ではなく ``` で囲まれています。

データの例:

```json
{
   "id":"222",
   "title":"What's the difference between はずがない, わけがない, and しょうがない?",
   "question":"\n\nA slight expansion of the existing thread [What is the difference between\n「はずがない」 and 「わけがない」?](https://japanese.stackexchange.com/questions/171/what-\nis-the-difference-between-hazu-and-wake), but what is the difference or use\ncases for when to use はずがない, わけがない, しょうがない?\n\n",
   "answer":"\n\nOn はず and わけ, answers in the original question explain it better than I would\nso I\\'ll leave it to them.\n\nBut on しょうがない, it\\'s totally different from the other two. しょうがない is used when\nyou don\\'t have other choice but to do it. It can also mean \"there\\'s nothing\nelse you can do\"\n\np/s: thanks for expanding my question\n\n",
   "question_score":9,
   "answer_score":15,
   "tags":[
      "word-choice",
      "formal-nouns"
   ]
}
```

## ライセンス

[CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)