task_categories:text-classification size_categories:10K<n<100K language:ja region:us
---
task_categories:
- text-classification
language:
- ja
size_categories:
- 10K<n<100K
---
# Dataset Card for llm-book/wrime-sentiment
日本語の感情分析データセット WRIME を、ポジティブ/ネガティブの二値分類のタスクに加工したデータセットです。
GitHub リポジトリ [ids-cv/wrime](https://github.com/ids-cv/wrime) で公開されているデータセットを利用しています。
`Avg. Readers_Sentiment` の値が0より大きいものをポジティブ、0より小さいものをネガティブとラベル付をしています。

書籍『大規模言語モデル入門』のサンプルコードで利用することを想定しています。
詳しくは[書籍のGitHubリポジトリ](https://github.com/ghmagazine/llm-book)をご覧ください。

## 使い方
以下のようにデータセットを読み込むことができます。
```python
from datasets import load_dataset

dataset = load_dataset("hf_datasets/wrime-sentiment")
print(dataset["train"].features["label"])
print(dataset)
```

```python
ClassLabel(names=['positive', 'negative'], id=None)
DatasetDict({
    train: Dataset({
        features: ['sentence', 'label'],
        num_rows: 20149
    })
    validation: Dataset({
        features: ['sentence', 'label'],
        num_rows: 1608
    })
    test: Dataset({
        features: ['sentence', 'label'],
        num_rows: 1781
    })
})
```
デフォルトの設定では、元のデータセットから極性がニュートラルであるものを除いています。
`remove_netural=False`と指定することで、ニュートラルなデータも含めた三値分類のデータセットを読み込むことができます。
```python
from datasets import load_dataset

dataset = load_dataset("hf_datasets/wrime-sentiment", remove_neutral=False)
print(dataset["train"].features["label"])
print(dataset)
```

```python
ClassLabel(names=['positive', 'negative', 'neutral'], id=None)
DatasetDict({
    train: Dataset({
        features: ['sentence', 'label'],
        num_rows: 30000
    })
    validation: Dataset({
        features: ['sentence', 'label'],
        num_rows: 2500
    })
    test: Dataset({
        features: ['sentence', 'label'],
        num_rows: 2500
    })
})
```