task_categories:text2text-generation size_categories:n<1K language:ja license:cc-by-sa-4.0 arxiv:2307.09288 region:us
---
task_categories:
- text2text-generation
language:
- ja
size_categories:
- n<1K
license: cc-by-sa-4.0
---

# ELYZA-tasks-100: 日本語instructionモデル評価データセット

![Imgur](images/key_visual.png)

## Data Description

本データセットはinstruction-tuningを行ったモデルの評価用データセットです。詳細は [リリースのnote記事](https://note.com/elyza/n/na405acaca130) を参照してください。

特徴:

- 複雑な指示・タスクを含む100件の日本語データです。
- 役に立つAIアシスタントとして、丁寧な出力が求められます。
- 全てのデータに対して評価観点がアノテーションされており、評価の揺らぎを抑えることが期待されます。

具体的には以下のようなタスクを含みます。

- 要約を修正し、修正箇所を説明するタスク
- 具体的なエピソードから抽象的な教訓を述べるタスク
- ユーザーの意図を汲み役に立つAIアシスタントとして振る舞うタスク
- 場合分けを必要とする複雑な算数のタスク
- 未知の言語からパターンを抽出し日本語訳する高度な推論を必要とするタスク
- 複数の指示を踏まえた上でyoutubeの対話を生成するタスク
- 架空の生き物や熟語に関する生成・大喜利などの想像力が求められるタスク

## Usage

datasetsライブラリから利用が可能です。

```py
>>> from datasets import load_dataset

>>> ds = load_dataset("elyza/ELYZA-tasks-100")
>>> ds
DatasetDict({
    test: Dataset({
        features: ["input", "output", "eval_aspect"],
        num_rows: 100
    })
})
>>> ds["test"][0]
{
    'input': '仕事の熱意を取り戻すためのアイデアを5つ挙げてください。',
    'output': '1. 自分の仕事に対する興味を再発見するために、新しい技能や知識を学ぶこと。\n2. カレッジやセミナーなどで講演を聴くことで、仕事に対する新しいアイデアや視点を得ること。\n3. 仕事に対してストレスを感じている場合は、ストレスマネジメントのテクニックを学ぶこと。\n4. 仕事以外の楽しいことをすることで、ストレスを発散すること。\n5. 仕事に対して自己評価をすることで、自分がどのように進化しているのかを知ること。',
    'eval_aspect': '- 熱意を取り戻すのではなく、仕事の効率化・スキルアップのような文脈になっていたら1点減点\n- 出したアイデアが5つより多い、少ない場合は1点減点\n- 5つのアイデアのうち、内容が重複しているものがあれば1点減点\n\n'
}
```

## Baseline Evaluation

本データセットは手動/自動, 絶対/相対 評価のいずれの評価形式でも利用していただくことができますが、今回我々はベースラインモデルの評価として、5段階の絶対評価を手動で行いました。

### 評価手順

1. [こちらの推論スクリプト](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/tree/main/baseline/scripts)のようにベースラインとなるモデルでの推論を行い、[baseline/preds](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/tree/main/baseline/preds)以下に推論結果を格納しました。
    - 基本的にgenerate時のパラメータはREADMEなどに記載されているデフォルト値を用いました。
2. [shuffle_for_humaneval.py](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/shuffle_for_humaneval.py)を用いて匿名化されたモデルの推論結果 [shuffled_preds.csv](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/shuffled_preds.csv) と匿名化を復元するための対応表 [uuids.csv](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/uuids.csv) を作成しました。
3. [shuffled_preds.csv](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/shuffled_preds.csv) を Googleスプレッドシートにアップロードし、[評価ガイドライン](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/guideline.md) に従って、各データ3人で人手評価を行いました。
4. スプレッドシートでの評価結果を[annotated_shuffled_preds.xlsx](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/annotated_shuffled_preds.xlsx)としてダウンロードし、 [deshuffle_annotations.py](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/deshuffle_annotations.py) を利用し、匿名化された評価結果を復号して[annotated_deshuffled_preds.csv](https://huggingface.co/datasets/elyza/ELYZA-tasks-100/blob/main/baseline/humaneval/annotated_deshuffled_preds.csv) として保存しました。
5. 最後にGoogleスプレッドシートに[評価結果シート](https://docs.google.com/spreadsheets/d/1mtoy4QAqDPk2f_B0vDogFoOrbA5G42DBEEHdqM4VmDI/edit#gid=1023787356)にアップロードして可視化しました。

### 評価結果

- スコアについては、[リリースのnote記事](https://note.com/elyza/n/na405acaca130) を参照してください。
- [評価結果シート](https://docs.google.com/spreadsheets/d/1mtoy4QAqDPk2f_B0vDogFoOrbA5G42DBEEHdqM4VmDI/edit#gid=1023787356):
  - 全ての入出力と評価を公開しています。スコアだけでは分からないモデルの傾向を知ることができます。

### 評価手法の妥当性について

[zennの技術ブログ](https://zenn.dev/elyza/articles/5e7d9373c32a98)にて今回のベースラインの評価の詳細な分析についての記事を書きました。よければそちらもご覧ください。

## GPT4での自動評価について

こちらも[zennの技術ブログ](https://zenn.dev/elyza/articles/5e7d9373c32a98)にて実際にGPT4での評価を行う際のコードと結果を示しています。

## Developers

以下アルファベット順です。

- [Akira Sasaki](https://huggingface.co/akirasasaki)
- [Masato Hirakawa](https://huggingface.co/m-hirakawa)
- [Shintaro Horie](https://huggingface.co/e-mon)
- [Tomoaki Nakamura](https://huggingface.co/tyoyo)

## License

![license-badge](https://i.creativecommons.org/l/by-sa/4.0/88x31.png)

このデータセットは [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja) でライセンスされています。

## How to Cite

```tex
@misc{elyzatasks100,
      title={ELYZA-tasks-100: 日本語instructionモデル評価データセット},
      url={https://huggingface.co/elyza/ELYZA-tasks-100},
      author={Akira Sasaki and Masato Hirakawa and Shintaro Horie and Tomoaki Nakamura},
      year={2023},
}
```

## Citations

```tex
@misc{touvron2023llama,
      title={Llama 2: Open Foundation and Fine-Tuned Chat Models},
      author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov and Soumya Batra and Prajjwal Bhargava and Shruti Bhosale and Dan Bikel and Lukas Blecher and Cristian Canton Ferrer and Moya Chen and Guillem Cucurull and David Esiobu and Jude Fernandes and Jeremy Fu and Wenyin Fu and Brian Fuller and Cynthia Gao and Vedanuj Goswami and Naman Goyal and Anthony Hartshorn and Saghar Hosseini and Rui Hou and Hakan Inan and Marcin Kardas and Viktor Kerkez and Madian Khabsa and Isabel Kloumann and Artem Korenev and Punit Singh Koura and Marie-Anne Lachaux and Thibaut Lavril and Jenya Lee and Diana Liskovich and Yinghai Lu and Yuning Mao and Xavier Martinet and Todor Mihaylov and Pushkar Mishra and Igor Molybog and Yixin Nie and Andrew Poulton and Jeremy Reizenstein and Rashi Rungta and Kalyan Saladi and Alan Schelten and Ruan Silva and Eric Michael Smith and Ranjan Subramanian and Xiaoqing Ellen Tan and Binh Tang and Ross Taylor and Adina Williams and Jian Xiang Kuan and Puxin Xu and Zheng Yan and Iliyan Zarov and Yuchen Zhang and Angela Fan and Melanie Kambadur and Sharan Narang and Aurelien Rodriguez and Robert Stojnic and Sergey Edunov and Thomas Scialom},
      year={2023},
      eprint={2307.09288},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
```
