annotations_creators:crowdsourced language_creators:さくらみこ language_creators:hololive production multilinguality:monolingual language:ja license:other region:us
@InProceedings{elitevoiceproject:dataset,
    title = {Elite Voice Project},
    author={Elite35P Server.},
    year={2022}
}
---
annotations_creators:
- crowdsourced
language_creators:
- さくらみこ
- hololive production
language:
- ja
multilinguality:
  - monolingual
license: other
---
# Elite Voice Project

これはホロライブ所属Vtuberさくらみこ氏の声をデータセット化し音声認識などで活用できるようにする事を目的とした非公式プロジェクトです。

---

# LICENSEについて

## データセット内の音声データ

すべてのデータは、[hololive productionの二次創作ガイドライン](https://hololive.hololivepro.com/guidelines/)に準拠する形で利用されています。

これらのデータの著作権はカバー株式会社等が保有しており、リポジトリオーナー、コントリビューターは一切の権利を有しておりません。

---

# 当プロジェクトへのご協力

当プロジェクトは皆様のご協力を心より歓迎いたします。 以下の方法をご一読いただき、そのうえでプルリクエストをお願い致します。

## 始める前に

[hololive productionの二次創作ガイドライン](https://hololive.hololivepro.com/guidelines/)を必ずお読みください。

---

## 音声データの追加

基本的には、データセットに追加したい音声データを`audio_raw`ディレクトリ内の所定のディレクトリへ追加していただく形になります。

git等を使用して音声データを追加する場合にはgit-lfsが必要になります。事前にgit-lfsのインストールをお願い致します。

`audio_raw`ディレクトリ内の構造は以下の通りです。

```
audio_raw
├─twitch
│  ├─test
│  │  └─<ID>
│  │     ├─1.mp3
│  │     ├─2.mp3
│  │     ├─3.mp3
│  │     ├─.
│  │     └─.
│  └─train
│     └─<ID>
│        ├─1.mp3
│        ├─2.mp3
│        ├─3.mp3
│        ├─.
│        └─.
├─twitter
│  ├─test
│  │  └─<ID>
│  │     ├─1.mp3
│  │     ├─2.mp3
│  │     ├─3.mp3
│  │     ├─.
│  │     └─.
│  └─train
│     └─<ID>
│        ├─1.mp3
│        ├─2.mp3
│        ├─3.mp3
│        ├─.
│        └─.
└─youtube
   ├─test
   │  └─<ID>
   │     ├─1.mp3
   │     ├─2.mp3
   │     ├─3.mp3
   │     ├─.
   │     └─.
   └─train
      └─<ID>
         ├─1.mp3
         ├─2.mp3
         ├─3.mp3
         ├─.
         └─.
```

- `youtube`, `twitch`, `twitch`ディレクトリはデータセットに追加するデータの切り出し元のプラットフォーム名です。

- `train`と`test`ディレクトリについてですが、[OpenAI Whisper](https://openai.com/blog/whisper/)等の学習を行う際にtrainとtest、2種類のデータが必要になるために存在しています。
- `train`と`test`には同じ配信から切り出したデータを入れても良いですが全く同じデータを入れることは辞めてください。正確に学習を行うことができなくなります。

- `<ID>`には音声データを切り出す元になった配信等のIDが入ります。
  - YouTubeであれば`https://www.youtube.com/watch?v=X9zw0QF12Kc`の`X9zw0QF12Kc`がディレクトリ名となります。
  - Twitterであれば`https://twitter.com/i/spaces/1lPKqmyQPOAKb`の`1lPKqmyQPOAKb`がディレクトリ名となります。
  - Twitchであれば`https://www.twitch.tv/videos/824387510`の`824387510`がディレクトリ名となります。

- `<ID>`ディレクトリ内には連番でmp3形式の音声ファイルを入れてください。
  - 音声データは30秒以内である必要があります。
  - BGMやSE、ノイズ等が含まれる音声データは避けてください。
  - あまりに短すぎる音声データは避けてください。(既にデータセットにある音声は削除予定です。)
  - 出来る限り30秒に近い音声データを入れていただけると助かります。
  - 文脈のある音声データが望ましいです。
  - 英語の音声は避けてください。

---

## 書き起こしテキストデータの追加

基本的には、データセットに追加したい音声データの書き起こしテキストデータを`transcript_raw`ディレクトリ内の所定のディレクトリへ追加していただく形になります。

`transcript_raw`ディレクトリ内の構造は以下の通りです。

```
transcript_raw
├─twitch
│  ├─test
│  │  └─<ID>.csv 
│  │
│  └─train
│     └─<ID>.csv
│
├─twitter
│  ├─test
│  │  └─<ID>.csv 
│  │
│  └─train
│     └─<ID>.csv
│
└─youtube
   ├─test
   │  └─<ID>.csv
   │
   └─train
      └─<ID>.csv
```

- `youtube`, `twitch`, `twitch`ディレクトリはデータセットに追加するデータの切り出し元のプラットフォーム名です。

- `<ID>`には音声データを切り出す元になった配信等のIDが入ります。
  - YouTubeであれば`https://www.youtube.com/watch?v=X9zw0QF12Kc`の`X9zw0QF12Kc`がディレクトリ名となります。
  - Twitterであれば`https://twitter.com/i/spaces/1lPKqmyQPOAKb`の`1lPKqmyQPOAKb`がディレクトリ名となります。
  - Twitchであれば`https://www.twitch.tv/videos/824387510`の`824387510`がディレクトリ名となります。

- `<ID>.csv`について
  - 必ず`audio_raw`に追加した音声データに対応した書き起こしテキストを追加する必要があります。
  - 句読点、!,?等は正確に入れてください。
  - 半角英数字記号を使用してください。(!, ?, 1等)
  - 漢数字は避けてください。
  - csvファイルの1行目は必ず`path,sentence`で始めてください。
  - 書き起こしテキストはWhisper等で一度書き起こしたものを修正して行く方法を推奨致します。

### CSVファイルの記述例
```csv
path,sentence
1.mp3,雷が落ちた時のみこ
2.mp3,コメント止まった?
3.mp3,見えてるー?いやコメント止まった。壊れた。
4.mp3,インターネット繋がってない!
5.mp3,雷鳴ったよまた
```