Fork元のVOICEVOX ENGINEのREADME
+ +# VOICEVOX ENGINE + +[](https://github.com/VOICEVOX/voicevox_engine/actions/workflows/build.yml) +[](https://github.com/VOICEVOX/voicevox_engine/releases) +[](https://discord.gg/WMwWetrzuh) + +[](https://github.com/VOICEVOX/voicevox_engine/actions/workflows/test.yml) +[](https://coveralls.io/github/VOICEVOX/voicevox_engine) + +[](https://github.com/VOICEVOX/voicevox_engine/actions/workflows/build-docker.yml) +[](https://hub.docker.com/r/voicevox/voicevox_engine) + +[VOICEVOX](https://voicevox.hiroshiba.jp/) のエンジンです。 +実態は HTTP サーバーなので、リクエストを送信すればテキスト音声合成できます。 + +（エディターは [VOICEVOX](https://github.com/VOICEVOX/voicevox/) 、 +コアは [VOICEVOX CORE](https://github.com/VOICEVOX/voicevox_core/) 、 +全体構成は [こちら](https://github.com/VOICEVOX/voicevox/blob/main/docs/%E5%85%A8%E4%BD%93%E6%A7%8B%E6%88%90.md) に詳細があります。） + +## ダウンロード + +[こちら](https://github.com/VOICEVOX/voicevox_engine/releases/latest)から対応するエンジンをダウンロードしてください。 + +## API ドキュメント + +[API ドキュメント](https://voicevox.github.io/voicevox_engine/api/)をご参照ください。 + +VOICEVOX エンジンもしくはエディタを起動した状態で http://127.0.0.1:50021/docs にアクセスすると、起動中のエンジンのドキュメントも確認できます。 +今後の方針などについては [VOICEVOX 音声合成エンジンとの連携](./docs/VOICEVOX音声合成エンジンとの連携.md) も参考になるかもしれません。 + +リクエスト・レスポンスの文字コードはすべて UTF-8 です。 + +### HTTP リクエストで音声合成するサンプルコード + +```bash +echo -n "こんにちは、音声合成の世界へようこそ" >text.txt + +curl -s \ + -X POST \ + "127.0.0.1:50021/audio_query?style_id=1"\ + --get --data-urlencode text@text.txt \ + > query.json + +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @query.json \ + "127.0.0.1:50021/synthesis?style_id=1" \ + > audio.wav +``` + +生成される音声はサンプリングレートが 24000Hz と少し特殊なため、音声プレーヤーによっては再生できない場合があります。 + +`speaker` に指定する値は `/speakers` エンドポイントで得られる `style_id` です。互換性のために `speaker` という名前になっています。 + +### 読み方を AquesTalk 記法で取得・修正するサンプルコード + +`/audio_query`のレスポンスにはエンジンが判断した読み方が AquesTalk ライクな記法([本家の記法](https://www.a-quest.com/archive/manual/siyo_onseikigou.pdf)とは一部異なります)で記録されています。 +記法は次のルールに従います。 + +- 全てのカナはカタカナで記述される +- アクセント句は`/`または`、`で区切る。`、`で区切った場合に限り無音区間が挿入される。 +- カナの手前に`_`を入れるとそのカナは無声化される +- アクセント位置を`'`で指定する。全てのアクセント句にはアクセント位置を 1 つ指定する必要がある。 +- アクセント句末に`？`(全角)を入れることにより疑問文の発音ができる + +```bash +# 読ませたい文章をutf-8でtext.txtに書き出す +echo -n "ディープラーニングは万能薬ではありません" >text.txt + +curl -s \ + -X POST \ + "127.0.0.1:50021/audio_query?style_id=1" \ + --get --data-urlencode text@text.txt \ + > query.json + +cat query.json | grep -o -E "\"kana\":\".*\"" +# 結果... "kana":"ディ'イプ/ラ'アニングワ/バンノオヤクデワアリマセ'ン" + +# "ディイプラ'アニングワ/バンノ'オヤクデワ/アリマセ'ン"と読ませたいので、 +# is_kana=trueをつけてイントネーションを取得しnewphrases.jsonに保存 +echo -n "ディイプラ'アニングワ/バンノ'オヤクデワ/アリマセ'ン" > kana.txt +curl -s \ + -X POST \ + "127.0.0.1:50021/accent_phrases?style_id=1&is_kana=true" \ + --get --data-urlencode text@kana.txt \ + > newphrases.json + +# query.jsonの"accent_phrases"の内容をnewphrases.jsonの内容に置き換える +cat query.json | sed -e "s/\[{.*}\]/$(cat newphrases.json)/g" > newquery.json + +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @newquery.json \ + "127.0.0.1:50021/synthesis?style_id=1" \ + > audio.wav +``` + +### ユーザー辞書機能について + +API からユーザー辞書の参照、単語の追加、編集、削除を行うことができます。 + +#### 参照 + +`/user_dict`に GET リクエストを投げることでユーザー辞書の一覧を取得することができます。 + +```bash +curl -s -X GET "127.0.0.1:50021/user_dict" +``` + +#### 単語追加 + +`/user_dict_word`に POST リクエストを投げる事でユーザー辞書に単語を追加することができます。 +URL パラメータとして、以下が必要です。 + +- surface （辞書に登録する単語） +- pronunciation （カタカナでの読み方） +- accent_type （アクセント核位置、整数） + +アクセント核位置については、こちらの文章が参考になるかと思います。 +〇型となっている数字の部分がアクセント核位置になります。 +https://tdmelodic.readthedocs.io/ja/latest/pages/introduction.html + +成功した場合の返り値は単語に割り当てられる UUID の文字列になります。 + +```bash +surface="test" +pronunciation="テスト" +accent_type="1" + +curl -s -X POST "127.0.0.1:50021/user_dict_word" \ + --get \ + --data-urlencode "surface=$surface" \ + --data-urlencode "pronunciation=$pronunciation" \ + --data-urlencode "accent_type=$accent_type" +``` + +#### 単語修正 + +`/user_dict_word/{word_uuid}`に PUT リクエストを投げる事でユーザー辞書の単語を修正することができます。 +URL パラメータとして、以下が必要です。 + +- surface （辞書に登録するワード） +- pronunciation （カタカナでの読み方） +- accent_type （アクセント核位置、整数） + +word_uuid は単語追加時に確認できるほか、ユーザー辞書を参照することでも確認できます。 +成功した場合の返り値は`204 No Content`になります。 + +```bash +surface="test2" +pronunciation="テストツー" +accent_type="2" +# 環境によってword_uuidは適宜書き換えてください +word_uuid="cce59b5f-86ab-42b9-bb75-9fd3407f1e2d" + +curl -s -X PUT "127.0.0.1:50021/user_dict_word/$word_uuid" \ + --get \ + --data-urlencode "surface=$surface" \ + --data-urlencode "pronunciation=$pronunciation" \ + --data-urlencode "accent_type=$accent_type" +``` + +#### 単語削除 + +`/user_dict_word/{word_uuid}`に DELETE リクエストを投げる事でユーザー辞書の単語を削除することができます。 + +word_uuid は単語追加時に確認できるほか、ユーザー辞書を参照することでも確認できます。 +成功した場合の返り値は`204 No Content`になります。 + +```bash +# 環境によってword_uuidは適宜書き換えてください +word_uuid="cce59b5f-86ab-42b9-bb75-9fd3407f1e2d" + +curl -s -X DELETE "127.0.0.1:50021/user_dict_word/$word_uuid" +``` + +### プリセット機能について + +`presets.yaml`を編集することで話者や話速などのプリセットを使うことができます。 + +```bash +echo -n "プリセットをうまく活用すれば、サードパーティ間で同じ設定を使うことができます" >text.txt + +# プリセット情報を取得 +curl -s -X GET "127.0.0.1:50021/presets" > presets.json + +preset_id=$(cat presets.json | sed -r 's/^.+"id"\:\s?([0-9]+?).+$/\1/g') +style_id=$(cat presets.json | sed -r 's/^.+"style_id"\:\s?([0-9]+?).+$/\1/g') + +# AudioQueryの取得 +curl -s \ + -X POST \ + "127.0.0.1:50021/audio_query_from_preset?preset_id=$preset_id"\ + --get --data-urlencode text@text.txt \ + > query.json + +# 音声合成 +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @query.json \ + "127.0.0.1:50021/synthesis?style_id=$style_id" \ + > audio.wav +``` + +- `speaker_uuid`は、`/speakers`で確認できます +- `id`は重複してはいけません +- エンジン起動後にファイルを書き換えるとエンジンに反映されます + +### 2 人の話者でモーフィングするサンプルコード + +`/synthesis_morphing`では、2 人の話者でそれぞれ合成された音声を元に、モーフィングした音声を生成します。 + +```bash +echo -n "モーフィングを利用することで、２つの声を混ぜることができます。" > text.txt + +curl -s \ + -X POST \ + "127.0.0.1:50021/audio_query?style_id=0"\ + --get --data-urlencode text@text.txt \ + > query.json + +# 元の話者での合成結果 +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @query.json \ + "127.0.0.1:50021/synthesis?style_id=0" \ + > audio.wav + +export MORPH_RATE=0.5 + +# 話者2人分の音声合成+WORLDによる音声分析が入るため時間が掛かるので注意 +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @query.json \ + "127.0.0.1:50021/synthesis_morphing?base_speaker=0&target_speaker=1&morph_rate=$MORPH_RATE" \ + > audio.wav + +export MORPH_RATE=0.9 + +# query、base_speaker、target_speakerが同じ場合はキャッシュが使用されるため比較的高速に生成される +curl -s \ + -H "Content-Type: application/json" \ + -X POST \ + -d @query.json \ + "127.0.0.1:50021/synthesis_morphing?base_speaker=0&target_speaker=1&morph_rate=$MORPH_RATE" \ + > audio.wav +``` + +### 話者の追加情報を取得するサンプルコード + +追加情報の中の portrait.png を取得するコードです。 +（[jq](https://stedolan.github.io/jq/)を使用して json をパースしています。） + +```bash +curl -s -X GET "127.0.0.1:50021/speaker_info?speaker_uuid=7ffcb7ce-00ec-4bdc-82cd-45a8889e43ff" \ + | jq -r ".portrait" \ + | base64 -d \ + > portrait.png +``` + +### キャンセル可能な音声合成 + +`/cancellable_synthesis`では通信を切断した場合に即座に計算リソースが開放されます。 +(`/synthesis`では通信を切断しても最後まで音声合成の計算が行われます) +この API は実験的機能であり、エンジン起動時に引数で`--enable_cancellable_synthesis`を指定しないと有効化されません。 +音声合成に必要なパラメータは`/synthesis`と同様です。 + +### CORS 設定 + +VOICEVOX ではセキュリティ保護のため`localhost`・`127.0.0.1`・`app://`・Origin なし以外の Origin からリクエストを受け入れないようになっています。 +そのため、一部のサードパーティアプリからのレスポンスを受け取れない可能性があります。 +これを回避する方法として、エンジンから設定できる UI を用意しています。 + +#### 設定方法 + +1.
+
+
+
+### マルチエンジン機能の仕組み
+
+VOICEVOX API に準拠した複数のエンジンの Web API をポートを分けて起動し、統一的に扱うことでマルチエンジン機能を実現しています。
+エディターがそれぞれのエンジンを実行バイナリ経由で起動し、EngineID と結びつけて設定や状態を個別管理します。
+
+### マルチエンジン機能への対応方法
+
+VOICEVOX API 準拠エンジンを起動する実行バイナリを作ることで対応が可能です。
+VOICEVOX ENGINE リポジトリを fork し、一部の機能を改造するのが簡単です。
+
+改造すべき点はエンジン情報・キャラクター情報・音声合成の３点です。
+
+エンジンの情報はエンジンマニフェスト（`engine_manifest.json`）で管理されています。
+マニフェストファイル内の情報を見て適宜変更してください。
+音声合成手法によっては、例えばモーフィング機能など、VOICEVOX と同じ機能を持つことができない場合があります。
+その場合はマニフェストファイル内の`supported_features`内の情報を適宜変更してください。
+
+キャラクター情報は`speaker_info`ディレクトリ内のファイルで管理されています。
+ダミーのアイコンなどが用意されているので適宜変更してください。
+
+音声合成は`voicevox_engine/synthesis_engine/synthesis_engine.py`で行われています。
+VOICEVOX API での音声合成は、エンジン側で音声合成クエリ`AudioQuery`の初期値を作成してユーザーに返し、ユーザーが必要に応じてクエリを編集したあと、エンジンがクエリに従って音声合成することで実現しています。
+クエリ作成は`/audio_query`エンドポイントで、音声合成は`/synthesis`エンドポイントで行っており、最低この２つに対応すれば VOICEVOX API に準拠したことになります。
+
+### マルチエンジン機能対応エンジンの配布方法
+
+VVPP ファイルとして配布するのがおすすめです。
+VVPP は「VOICEVOX プラグインパッケージ」の略で、中身はビルドしたエンジンなどを含んだディレクトリの Zip ファイルです。
+拡張子を`.vvpp`にすると、ダブルクリックで VOICEVOX エディターにインストールできます。
+
+エディター側は受け取った VVPP ファイルをローカルディスク上に Zip 展開したあと、ルートの直下にある`engine_manifest.json`に従ってファイルを探査します。
+VOICEVOX エディターにうまく読み込ませられないときは、エディターのエラーログを参照してください。
+
+また、`xxx.vvpp`は分割して連番を付けた`xxx.0.vvppp`ファイルとして配布することも可能です。
+これはファイル容量が大きくて配布が困難な場合に有用です。
+
+
+
+## GitHub Actions
+
+### Variables
+
+| name | description |
+| :----------------- | :------------------ |
+| DOCKERHUB_USERNAME | Docker Hub ユーザ名 |
+
+### Secrets
+
+| name | description |
+| :-------------- | :---------------------------------------------------------------------- |
+| DOCKERHUB_TOKEN | [Docker Hub アクセストークン](https://hub.docker.com/settings/security) |
+
+## 事例紹介
+
+**[voicevox-client](https://github.com/tuna2134/voicevox-client) [@tuna2134](https://github.com/tuna2134)** ･･･ VOICEVOX ENGINE のための Python ラッパー
+
+
+
+
+
+
diff --git a/voicevox_nemo_engine/voicevox_engine/__init__.py b/voicevox_nemo_engine/voicevox_engine/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..ca702104050d218302f1b0850d0b679eb8c1c617
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/__init__.py
@@ -0,0 +1 @@
+__version__ = "latest"
diff --git a/voicevox_nemo_engine/voicevox_engine/acoustic_feature_extractor.py b/voicevox_nemo_engine/voicevox_engine/acoustic_feature_extractor.py
new file mode 100644
index 0000000000000000000000000000000000000000..8fa37fbae8badda63d9fe7173cf407eb25343144
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/acoustic_feature_extractor.py
@@ -0,0 +1,332 @@
+from abc import abstractmethod
+from enum import Enum
+from pathlib import Path
+from typing import List, Sequence
+
+import numpy
+
+
+class BasePhoneme(object):
+ """
+ 音素の応用クラス群の抽象基底クラス
+
+ Attributes
+ ----------
+ phoneme_list : Sequence[str]
+ 音素のリスト
+ num_phoneme : int
+ 音素リストの要素数
+ space_phoneme : str
+ 読点に値する音素
+ """
+
+ phoneme_list: Sequence[str]
+ num_phoneme: int
+ space_phoneme: str
+
+ def __init__(
+ self,
+ phoneme: str,
+ start: float,
+ end: float,
+ ):
+ self.phoneme = phoneme
+ self.start = numpy.round(start, decimals=2)
+ self.end = numpy.round(end, decimals=2)
+
+ def __repr__(self):
+ return f"Phoneme(phoneme='{self.phoneme}', start={self.start}, end={self.end})"
+
+ def __eq__(self, o: object):
+ return isinstance(o, BasePhoneme) and (
+ self.phoneme == o.phoneme and self.start == o.start and self.end == o.end
+ )
+
+ def verify(self):
+ """
+ 音素クラスとして、データが正しいかassertする
+ """
+ assert self.phoneme in self.phoneme_list, f"{self.phoneme} is not defined."
+
+ @property
+ def phoneme_id(self):
+ """
+ phoneme_id (phoneme list内でのindex)を取得する
+ Returns
+ -------
+ id : int
+ phoneme_idを返す
+ """
+ return self.phoneme_list.index(self.phoneme)
+
+ @property
+ def duration(self):
+ """
+ 音素継続期間を取得する
+ Returns
+ -------
+ duration : int
+ 音素継続期間を返す
+ """
+ return self.end - self.start
+
+ @property
+ def onehot(self):
+ """
+ phoneme listの長さ分の0埋め配列のうち、phoneme id番目がTrue(1)の配列を返す
+ Returns
+ -------
+ onehot : numpu.ndarray
+ 関数内で変更された配列を返す
+ """
+ array = numpy.zeros(self.num_phoneme, dtype=bool)
+ array[self.phoneme_id] = True
+ return array
+
+ @classmethod
+ def parse(cls, s: str):
+ """
+ 文字列をパースして音素クラスを作る
+ Parameters
+ ----------
+ s : str
+ パースしたい文字列
+
+ Returns
+ -------
+ phoneme : BasePhoneme
+ パース結果を用いた音素クラスを返す
+
+ Examples
+ --------
+ >>> BasePhoneme.parse('1.7425000 1.9125000 o:')
+ Phoneme(phoneme='o:', start=1.74, end=1.91)
+ """
+ words = s.split()
+ return cls(
+ start=float(words[0]),
+ end=float(words[1]),
+ phoneme=words[2],
+ )
+
+ @classmethod
+ @abstractmethod
+ def convert(cls, phonemes: List["BasePhoneme"]) -> List["BasePhoneme"]:
+ raise NotImplementedError
+
+ @classmethod
+ def load_lab_list(cls, path: Path):
+ """
+ labファイルを読み込む
+ Parameters
+ ----------
+ path : Path
+ 読み込みたいlabファイルのパス
+
+ Returns
+ -------
+ phonemes : List[BasePhoneme]
+ パース結果を用いた音素クラスを返す
+ """
+ phonemes = [cls.parse(s) for s in path.read_text().split("\n") if len(s) > 0]
+ phonemes = cls.convert(phonemes)
+
+ for phoneme in phonemes:
+ phoneme.verify()
+ return phonemes
+
+ @classmethod
+ def save_lab_list(cls, phonemes: List["BasePhoneme"], path: Path):
+ """
+ 音素クラスのリストをlabファイル形式で保存する
+ Parameters
+ ----------
+ phonemes : List[BasePhoneme]
+ 保存したい音素クラスのリスト
+ path : Path
+ labファイルの保存先パス
+ """
+ text = "\n".join(
+ [
+ f"{numpy.round(p.start, decimals=2):.2f}\t"
+ f"{numpy.round(p.end, decimals=2):.2f}\t"
+ f"{p.phoneme}"
+ for p in phonemes
+ ]
+ )
+ path.write_text(text)
+
+
+class JvsPhoneme(BasePhoneme):
+ """
+ JVS(Japanese versatile speech)コーパスに含まれる音素群クラス
+
+ Attributes
+ ----------
+ phoneme_list : Sequence[str]
+ 音素のリスト
+ num_phoneme : int
+ 音素リストの要素数
+ space_phoneme : str
+ 読点に値する音素
+ """
+
+ phoneme_list = (
+ "pau",
+ "I",
+ "N",
+ "U",
+ "a",
+ "b",
+ "by",
+ "ch",
+ "cl",
+ "d",
+ "dy",
+ "e",
+ "f",
+ "g",
+ "gy",
+ "h",
+ "hy",
+ "i",
+ "j",
+ "k",
+ "ky",
+ "m",
+ "my",
+ "n",
+ "ny",
+ "o",
+ "p",
+ "py",
+ "r",
+ "ry",
+ "s",
+ "sh",
+ "t",
+ "ts",
+ "u",
+ "v",
+ "w",
+ "y",
+ "z",
+ )
+ num_phoneme = len(phoneme_list)
+ space_phoneme = "pau"
+
+ @classmethod
+ def convert(cls, phonemes: List["JvsPhoneme"]) -> List["JvsPhoneme"]:
+ """
+ 最初と最後のsil(silent)をspace_phoneme(pau)に置き換え(変換)する
+ Parameters
+ ----------
+ phonemes : List[JvsPhoneme]
+ 変換したいphonemeのリスト
+
+ Returns
+ -------
+ phonemes : List[JvsPhoneme]
+ 変換されたphonemeのリスト
+ """
+ if "sil" in phonemes[0].phoneme:
+ phonemes[0].phoneme = cls.space_phoneme
+ if "sil" in phonemes[-1].phoneme:
+ phonemes[-1].phoneme = cls.space_phoneme
+ return phonemes
+
+
+class OjtPhoneme(BasePhoneme):
+ """
+ OpenJTalkに含まれる音素群クラス
+
+ Attributes
+ ----------
+ phoneme_list : Sequence[str]
+ 音素のリスト
+ num_phoneme : int
+ 音素リストの要素数
+ space_phoneme : str
+ 読点に値する音素
+ """
+
+ phoneme_list = (
+ "pau",
+ "A",
+ "E",
+ "I",
+ "N",
+ "O",
+ "U",
+ "a",
+ "b",
+ "by",
+ "ch",
+ "cl",
+ "d",
+ "dy",
+ "e",
+ "f",
+ "g",
+ "gw",
+ "gy",
+ "h",
+ "hy",
+ "i",
+ "j",
+ "k",
+ "kw",
+ "ky",
+ "m",
+ "my",
+ "n",
+ "ny",
+ "o",
+ "p",
+ "py",
+ "r",
+ "ry",
+ "s",
+ "sh",
+ "t",
+ "ts",
+ "ty",
+ "u",
+ "v",
+ "w",
+ "y",
+ "z",
+ )
+ num_phoneme = len(phoneme_list)
+ space_phoneme = "pau"
+
+ @classmethod
+ def convert(cls, phonemes: List["OjtPhoneme"]):
+ """
+ 最初と最後のsil(silent)をspace_phoneme(pau)に置き換え(変換)する
+ Parameters
+ ----------
+ phonemes : List[OjtPhoneme]
+ 変換したいphonemeのリスト
+
+ Returns
+ -------
+ phonemes : List[OjtPhoneme]
+ 変換されたphonemeのリスト
+ """
+ if "sil" in phonemes[0].phoneme:
+ phonemes[0].phoneme = cls.space_phoneme
+ if "sil" in phonemes[-1].phoneme:
+ phonemes[-1].phoneme = cls.space_phoneme
+ return phonemes
+
+
+class PhonemeType(str, Enum):
+ jvs = "jvs"
+ openjtalk = "openjtalk"
+
+
+phoneme_type_to_class = {
+ PhonemeType.jvs: JvsPhoneme,
+ PhonemeType.openjtalk: OjtPhoneme,
+}
diff --git a/voicevox_nemo_engine/voicevox_engine/cancellable_engine.py b/voicevox_nemo_engine/voicevox_engine/cancellable_engine.py
new file mode 100644
index 0000000000000000000000000000000000000000..c473c3e4aa0886bdf518c67d5552daf0017b1911
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/cancellable_engine.py
@@ -0,0 +1,251 @@
+import asyncio
+import queue
+import sys
+from multiprocessing import Pipe, Process
+
+if sys.platform == "win32":
+ from multiprocessing.connection import PipeConnection as ConnectionType
+else:
+ from multiprocessing.connection import Connection as ConnectionType
+
+from pathlib import Path
+from tempfile import NamedTemporaryFile
+
+import soundfile
+
+# FIXME: remove FastAPI dependency
+from fastapi import HTTPException, Request
+
+from .model import AudioQuery
+from .synthesis_engine import make_synthesis_engines
+from .utility import get_latest_core_version
+
+
+class CancellableEngine:
+ """
+ 音声合成のキャンセル機能に関するクラス
+ 初期化後は、synthesis関数で音声合成できる
+ （オリジナルと比べ引数が増えているので注意）
+
+ パラメータ use_gpu, voicelib_dirs, voicevox_dir,
+ runtime_dirs, cpu_num_threads, enable_mock は、 make_synthesis_engines を参照
+
+ Attributes
+ ----------
+ watch_con_list: list[tuple[Request, Process]]
+ Requestは接続の監視に使用され、Processは通信切断時のプロセスキルに使用される
+ クライアントから接続があるとListにTupleが追加される
+ 接続が切断、もしくは音声合成が終了すると削除される
+ procs_and_cons: queue.Queue[tuple[Process, ConnectionType]]
+ 音声合成の準備が終わっているプロセスのList
+ （音声合成中のプロセスは入っていない）
+ """
+
+ def __init__(
+ self,
+ init_processes: int,
+ use_gpu: bool,
+ voicelib_dirs: list[Path] | None,
+ voicevox_dir: Path | None,
+ runtime_dirs: list[Path] | None,
+ cpu_num_threads: int | None,
+ enable_mock: bool,
+ ) -> None:
+ """
+ 変数の初期化を行う
+ また、init_processesの数だけプロセスを起動し、procs_and_consに格納する
+ """
+
+ self.use_gpu = use_gpu
+ self.voicelib_dirs = voicelib_dirs
+ self.voicevox_dir = voicevox_dir
+ self.runtime_dirs = runtime_dirs
+ self.cpu_num_threads = cpu_num_threads
+ self.enable_mock = enable_mock
+
+ self.watch_con_list: list[tuple[Request, Process]] = []
+
+ procs_and_cons: queue.Queue[tuple[Process, ConnectionType]] = queue.Queue()
+ for _ in range(init_processes):
+ procs_and_cons.put(self.start_new_proc())
+ self.procs_and_cons = procs_and_cons
+
+ def start_new_proc(
+ self,
+ ) -> tuple[Process, ConnectionType]:
+ """
+ 新しく開始したプロセスを返す関数
+
+ Returns
+ -------
+ ret_proc: Process
+ 新規のプロセス
+ sub_proc_con1: ConnectionType
+ ret_procのプロセスと通信するためのPipe
+ """
+ sub_proc_con1, sub_proc_con2 = Pipe(True)
+ ret_proc = Process(
+ target=start_synthesis_subprocess,
+ kwargs={
+ "use_gpu": self.use_gpu,
+ "voicelib_dirs": self.voicelib_dirs,
+ "voicevox_dir": self.voicevox_dir,
+ "runtime_dirs": self.runtime_dirs,
+ "cpu_num_threads": self.cpu_num_threads,
+ "enable_mock": self.enable_mock,
+ "sub_proc_con": sub_proc_con2,
+ },
+ daemon=True,
+ )
+ ret_proc.start()
+ return ret_proc, sub_proc_con1
+
+ def finalize_con(
+ self,
+ req: Request,
+ proc: Process,
+ sub_proc_con: ConnectionType | None,
+ ) -> None:
+ """
+ 接続が切断された時の処理を行う関数
+ watch_con_listからの削除、プロセスの後処理を行う
+ プロセスが生きている場合はそのままprocs_and_consに加える
+ 死んでいる場合は新しく生成したものをprocs_and_consに加える
+
+ Parameters
+ ----------
+ req: fastapi.Request
+ 接続確立時に受け取ったものをそのまま渡せばよい
+ https://fastapi.tiangolo.com/advanced/using-request-directly/
+ proc: Process
+ 音声合成を行っていたプロセス
+ sub_proc_con: ConnectionType, optional
+ 音声合成を行っていたプロセスとのPipe
+ 指定されていない場合、プロセスは再利用されず終了される
+ """
+ try:
+ self.watch_con_list.remove((req, proc))
+ except ValueError:
+ pass
+ try:
+ if not proc.is_alive() or sub_proc_con is None:
+ proc.close()
+ raise ValueError
+ # プロセスが死んでいない場合は再利用する
+ self.procs_and_cons.put((proc, sub_proc_con))
+ except ValueError:
+ # プロセスが死んでいるので新しく作り直す
+ self.procs_and_cons.put(self.start_new_proc())
+
+ def _synthesis_impl(
+ self,
+ query: AudioQuery,
+ style_id: int,
+ request: Request,
+ core_version: str | None,
+ ) -> str:
+ """
+ 音声合成を行う関数
+ 通常エンジンの引数に比べ、requestが必要になっている
+ また、返り値がファイル名になっている
+
+ Parameters
+ ----------
+ query: AudioQuery
+ style_id: int
+ request: fastapi.Request
+ 接続確立時に受け取ったものをそのまま渡せばよい
+ https://fastapi.tiangolo.com/advanced/using-request-directly/
+ core_version: str
+
+ Returns
+ -------
+ f_name: str
+ 生成された音声ファイルの名前
+ """
+ proc, sub_proc_con1 = self.procs_and_cons.get()
+ self.watch_con_list.append((request, proc))
+ try:
+ sub_proc_con1.send((query, style_id, core_version))
+ f_name = sub_proc_con1.recv()
+ except EOFError:
+ raise HTTPException(status_code=422, detail="既にサブプロセスは終了されています")
+ except Exception:
+ self.finalize_con(request, proc, sub_proc_con1)
+ raise
+
+ self.finalize_con(request, proc, sub_proc_con1)
+ return f_name
+
+ async def catch_disconnection(self):
+ """
+ 接続監視を行うコルーチン
+ """
+ while True:
+ await asyncio.sleep(1)
+ for con in self.watch_con_list:
+ req, proc = con
+ if await req.is_disconnected():
+ try:
+ if proc.is_alive():
+ proc.terminate()
+ proc.join()
+ proc.close()
+ except ValueError:
+ pass
+ finally:
+ self.finalize_con(req, proc, None)
+
+
+def start_synthesis_subprocess(
+ use_gpu: bool,
+ voicelib_dirs: list[Path] | None,
+ voicevox_dir: Path | None,
+ runtime_dirs: list[Path] | None,
+ cpu_num_threads: int | None,
+ enable_mock: bool,
+ sub_proc_con: ConnectionType,
+) -> None:
+ """
+ 音声合成を行うサブプロセスで行うための関数
+ pickle化の関係でグローバルに書いている
+
+ 引数 use_gpu, voicelib_dirs, voicevox_dir,
+ runtime_dirs, cpu_num_threads, enable_mock は、 make_synthesis_engines を参照
+
+ Parameters
+ ----------
+ sub_proc_con: ConnectionType
+ メインプロセスと通信するためのPipe
+ """
+
+ synthesis_engines = make_synthesis_engines(
+ use_gpu=use_gpu,
+ voicelib_dirs=voicelib_dirs,
+ voicevox_dir=voicevox_dir,
+ runtime_dirs=runtime_dirs,
+ cpu_num_threads=cpu_num_threads,
+ enable_mock=enable_mock,
+ )
+ assert len(synthesis_engines) != 0, "音声合成エンジンがありません。"
+ latest_core_version = get_latest_core_version(versions=synthesis_engines.keys())
+ while True:
+ try:
+ query, style_id, core_version = sub_proc_con.recv()
+ if core_version is None:
+ _engine = synthesis_engines[latest_core_version]
+ elif core_version in synthesis_engines:
+ _engine = synthesis_engines[core_version]
+ else:
+ # バージョンが見つからないエラー
+ sub_proc_con.send("")
+ continue
+ wave = _engine._synthesis_impl(query, style_id)
+ with NamedTemporaryFile(delete=False) as f:
+ soundfile.write(
+ file=f, data=wave, samplerate=query.outputSamplingRate, format="WAV"
+ )
+ sub_proc_con.send(f.name)
+ except Exception:
+ sub_proc_con.close()
+ raise
diff --git a/voicevox_nemo_engine/voicevox_engine/dev/core/__init__.py b/voicevox_nemo_engine/voicevox_engine/dev/core/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..432b00b93b362ec24d63e2daf65c70dbee8f3b08
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/dev/core/__init__.py
@@ -0,0 +1,17 @@
+from .mock import (
+ decode_forward,
+ initialize,
+ metas,
+ supported_devices,
+ yukarin_s_forward,
+ yukarin_sa_forward,
+)
+
+__all__ = [
+ "decode_forward",
+ "initialize",
+ "yukarin_s_forward",
+ "yukarin_sa_forward",
+ "metas",
+ "supported_devices",
+]
diff --git a/voicevox_nemo_engine/voicevox_engine/dev/core/mock.py b/voicevox_nemo_engine/voicevox_engine/dev/core/mock.py
new file mode 100644
index 0000000000000000000000000000000000000000..2bc2102f03aff3d19db8a1ae7af6beb90e7433ac
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/dev/core/mock.py
@@ -0,0 +1,118 @@
+import json
+from logging import getLogger
+from typing import Any, Dict, List
+
+import numpy as np
+from pyopenjtalk import tts
+from soxr import resample
+
+DUMMY_TEXT = "これはダミーのテキストです"
+
+
+def initialize(path: str, use_gpu: bool, *args: List[Any]) -> None:
+ pass
+
+
+def yukarin_s_forward(length: int, **kwargs: Dict[str, Any]) -> np.ndarray:
+ logger = getLogger("uvicorn") # FastAPI / Uvicorn 内からの利用のため
+ logger.info(
+ "Sorry, yukarin_s_forward() is a mock. Return values are incorrect.",
+ )
+ return np.ones(length) / 5
+
+
+def yukarin_sa_forward(length: int, **kwargs: Dict[str, Any]) -> np.ndarray:
+ logger = getLogger("uvicorn") # FastAPI / Uvicorn 内からの利用のため
+ logger.info(
+ "Sorry, yukarin_sa_forward() is a mock. Return values are incorrect.",
+ )
+ return np.ones((1, length)) * 5
+
+
+def decode_forward(length: int, **kwargs: Dict[str, Any]) -> np.ndarray:
+ """
+ 合成音声の波形データをNumPy配列で返します。ただし、常に固定の文言を読み上げます（DUMMY_TEXT）
+ 参照→SynthesisEngine のdocstring [Mock]
+
+ Parameters
+ ----------
+ length : int
+ フレームの長さ
+
+ Returns
+ -------
+ wave : np.ndarray
+ 音声合成した波形データ
+
+ Note
+ -------
+ ここで行う音声合成では、調声（ピッチ等）を反映しない
+ また、入力内容によらず常に固定の文言を読み上げる
+
+ # pyopenjtalk.tts()の出力仕様
+ dtype=np.float64, 16 bit, mono 48000 Hz
+
+ # resampleの説明
+ 非モックdecode_forwardと合わせるために、出力を24kHzに変換した。
+ """
+ logger = getLogger("uvicorn") # FastAPI / Uvicorn 内からの利用のため
+ logger.info(
+ "Sorry, decode_forward() is a mock. Return values are incorrect.",
+ )
+ wave, sr = tts(DUMMY_TEXT)
+ wave = resample(wave.astype("int16"), 48000, 24000)
+ return wave
+
+
+def metas() -> str:
+ return json.dumps(
+ [
+ {
+ "name": "dummy1",
+ "styles": [
+ {"name": "style0", "id": 0},
+ {"name": "style1", "id": 2},
+ {"name": "style2", "id": 4},
+ {"name": "style3", "id": 6},
+ ],
+ "speaker_uuid": "7ffcb7ce-00ec-4bdc-82cd-45a8889e43ff",
+ "version": "mock",
+ },
+ {
+ "name": "dummy2",
+ "styles": [
+ {"name": "style0", "id": 1},
+ {"name": "style1", "id": 3},
+ {"name": "style2", "id": 5},
+ {"name": "style3", "id": 7},
+ ],
+ "speaker_uuid": "388f246b-8c41-4ac1-8e2d-5d79f3ff56d9",
+ "version": "mock",
+ },
+ {
+ "name": "dummy3",
+ "styles": [
+ {"name": "style0", "id": 8},
+ ],
+ "speaker_uuid": "35b2c544-660e-401e-b503-0e14c635303a",
+ "version": "mock",
+ },
+ {
+ "name": "dummy4",
+ "styles": [
+ {"name": "style0", "id": 9},
+ ],
+ "speaker_uuid": "b1a81618-b27b-40d2-b0ea-27a9ad408c4b",
+ "version": "mock",
+ },
+ ]
+ )
+
+
+def supported_devices() -> str:
+ return json.dumps(
+ {
+ "cpu": True,
+ "cuda": False,
+ }
+ )
diff --git a/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/__init__.py b/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..e7b2ac5b17594c2a9a137e23a72210209f2cbd4b
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/__init__.py
@@ -0,0 +1,3 @@
+from .mock import MockSynthesisEngine
+
+__all__ = ["MockSynthesisEngine"]
diff --git a/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/mock.py b/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/mock.py
new file mode 100644
index 0000000000000000000000000000000000000000..9f49f5953e5ad95e1f28ce720a8c51bddd8bc3cc
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/dev/synthesis_engine/mock.py
@@ -0,0 +1,136 @@
+from logging import getLogger
+from typing import Any, Dict, List, Optional
+
+import numpy as np
+from pyopenjtalk import tts
+from soxr import resample
+
+from ...model import AccentPhrase, AudioQuery
+from ...synthesis_engine import SynthesisEngineBase
+from ...synthesis_engine.synthesis_engine import to_flatten_moras
+
+
+class MockSynthesisEngine(SynthesisEngineBase):
+ """
+ SynthesisEngine [Mock]
+ """
+
+ def __init__(
+ self,
+ speakers: str,
+ supported_devices: Optional[str] = None,
+ ):
+ """
+ __init__ [Mock]
+ """
+ super().__init__()
+
+ self._speakers = speakers
+ self._supported_devices = supported_devices
+ self.default_sampling_rate = 24000
+
+ @property
+ def speakers(self) -> str:
+ return self._speakers
+
+ @property
+ def supported_devices(self) -> Optional[str]:
+ return self._supported_devices
+
+ def replace_phoneme_length(
+ self, accent_phrases: List[AccentPhrase], style_id: int
+ ) -> List[AccentPhrase]:
+ """
+ replace_phoneme_length 入力accent_phrasesを変更せずにそのまま返します [Mock]
+
+ Parameters
+ ----------
+ accent_phrases : List[AccentPhrase]
+ フレーズ句のリスト
+ style_id : int
+ スタイルID
+
+ Returns
+ -------
+ List[AccentPhrase]
+ フレーズ句のリスト（変更なし）
+ """
+ return accent_phrases
+
+ def replace_mora_pitch(
+ self, accent_phrases: List[AccentPhrase], style_id: int
+ ) -> List[AccentPhrase]:
+ """
+ replace_mora_pitch 入力accent_phrasesを変更せずにそのまま返します [Mock]
+
+ Parameters
+ ----------
+ accent_phrases : List[AccentPhrase]
+ フレーズ句のリスト
+ style_id : int
+ スタイルID
+
+ Returns
+ -------
+ List[AccentPhrase]
+ フレーズ句のリスト（変更なし）
+ """
+ return accent_phrases
+
+ def _synthesis_impl(self, query: AudioQuery, style_id: int) -> np.ndarray:
+ """
+ synthesis voicevox coreを使わずに、音声合成する [Mock]
+
+ Parameters
+ ----------
+ query : AudioQuery
+ /audio_query APIで得たjson
+ style_id : int
+ スタイルID
+
+ Returns
+ -------
+ wave [npt.NDArray[np.int16]]
+ 音声波形データをNumPy配列で返します
+ """
+ # recall text in katakana
+ flatten_moras = to_flatten_moras(query.accent_phrases)
+ kana_text = "".join([mora.text for mora in flatten_moras])
+
+ wave = self.forward(kana_text)
+
+ # volume
+ wave *= query.volumeScale
+
+ return wave.astype("int16")
+
+ def forward(self, text: str, **kwargs: Dict[str, Any]) -> np.ndarray:
+ """
+ forward tts via pyopenjtalk.tts()
+ 参照→SynthesisEngine のdocstring [Mock]
+
+ Parameters
+ ----------
+ text : str
+ 入力文字列（例：読み上げたい文章をカタカナにした文字列、等）
+
+ Returns
+ -------
+ wave [npt.NDArray[np.int16]]
+ 音声波形データをNumPy配列で返します
+
+ Note
+ -------
+ ここで行う音声合成では、調声（ピッチ等）を反映しない
+
+ # pyopenjtalk.tts()の出力仕様
+ dtype=np.float64, 16 bit, mono 48000 Hz
+
+ # resampleの説明
+ 非モック実装（decode_forward）と合わせるために、出力を24kHzに変換した。
+ """
+ logger = getLogger("uvicorn") # FastAPI / Uvicorn 内からの利用のため
+ logger.info("[Mock] input text: %s" % text)
+ wave, sr = tts(text)
+ wave = resample(wave, 48000, 24000)
+ return wave
diff --git a/voicevox_nemo_engine/voicevox_engine/downloadable_library.py b/voicevox_nemo_engine/voicevox_engine/downloadable_library.py
new file mode 100644
index 0000000000000000000000000000000000000000..1e0932da24f28164bbe40d3ce794c1ab4caa970d
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/downloadable_library.py
@@ -0,0 +1,187 @@
+import base64
+import json
+import os
+import shutil
+import zipfile
+from io import BytesIO
+from pathlib import Path
+from typing import Dict
+
+from fastapi import HTTPException
+from pydantic import ValidationError
+from semver.version import Version
+
+from voicevox_engine.model import DownloadableLibrary, InstalledLibrary, VvlibManifest
+
+__all__ = ["LibraryManager"]
+
+INFO_FILE = "metas.json"
+
+
+class LibraryManager:
+ def __init__(
+ self,
+ library_root_dir: Path,
+ supported_vvlib_version: str | None,
+ brand_name: str,
+ engine_name: str,
+ engine_uuid: str,
+ ):
+ self.library_root_dir = library_root_dir
+ self.library_root_dir.mkdir(exist_ok=True)
+ if supported_vvlib_version is not None:
+ self.supported_vvlib_version = Version.parse(supported_vvlib_version)
+ else:
+ # supported_vvlib_versionがNoneの時は0.0.0として扱う
+ self.supported_vvlib_version = Version.parse("0.0.0")
+ self.engine_brand_name = brand_name
+ self.engine_name = engine_name
+ self.engine_uuid = engine_uuid
+
+ def downloadable_libraries(self):
+ # == ダウンロード情報をネットワーク上から取得する場合
+ # url = "https://example.com/downloadable_libraries.json"
+ # response = requests.get(url)
+ # return list(map(DownloadableLibrary.parse_obj, response.json()))
+
+ # == ダウンロード情報をjsonファイルから取得する場合
+ # with open(
+ # self.root_dir / "engine_manifest_assets" / "downloadable_libraries.json",
+ # encoding="utf-8",
+ # ) as f:
+ # return list(map(DownloadableLibrary.parse_obj, json.load(f)))
+
+ # ダミーとして、speaker_infoのアセットを読み込む
+ with open(
+ "./engine_manifest_assets/downloadable_libraries.json",
+ encoding="utf-8",
+ ) as f:
+ libraries = json.load(f)
+ speaker_info = libraries[0]["speakers"][0]["speaker_info"]
+ mock_root_dir = Path("./speaker_info/7ffcb7ce-00ec-4bdc-82cd-45a8889e43ff")
+ speaker_info["policy"] = (mock_root_dir / "policy.md").read_text()
+ speaker_info["portrait"] = base64.b64encode(
+ (mock_root_dir / "portrait.png").read_bytes()
+ )
+ for style_info in speaker_info["style_infos"]:
+ style_id = style_info["id"]
+ style_info["icon"] = base64.b64encode(
+ (mock_root_dir / "icons" / f"{style_id}.png").read_bytes()
+ )
+ style_info["voice_samples"] = [
+ base64.b64encode(
+ (
+ mock_root_dir / "voice_samples" / f"{style_id}_{i:0>3}.wav"
+ ).read_bytes()
+ )
+ for i in range(1, 4)
+ ]
+ return list(map(DownloadableLibrary.parse_obj, libraries))
+
+ def installed_libraries(self) -> Dict[str, InstalledLibrary]:
+ library = {}
+ for library_dir in self.library_root_dir.iterdir():
+ if library_dir.is_dir():
+ library_uuid = os.path.basename(library_dir)
+ with open(library_dir / INFO_FILE, encoding="utf-8") as f:
+ library[library_uuid] = json.load(f)
+ # アンインストール出来ないライブラリを作る場合、何かしらの条件でFalseを設定する
+ library[library_uuid]["uninstallable"] = True
+ return library
+
+ def install_library(self, library_id: str, file: BytesIO):
+ for downloadable_library in self.downloadable_libraries():
+ if downloadable_library.uuid == library_id:
+ library_info = downloadable_library.dict()
+ break
+ else:
+ raise HTTPException(
+ status_code=404, detail=f"指定された音声ライブラリ {library_id} が見つかりません。"
+ )
+ library_dir = self.library_root_dir / library_id
+ library_dir.mkdir(exist_ok=True)
+ with open(library_dir / INFO_FILE, "w", encoding="utf-8") as f:
+ json.dump(library_info, f, indent=4, ensure_ascii=False)
+ if not zipfile.is_zipfile(file):
+ raise HTTPException(
+ status_code=422, detail=f"音声ライブラリ {library_id} は不正なファイルです。"
+ )
+
+ with zipfile.ZipFile(file) as zf:
+ if zf.testzip() is not None:
+ raise HTTPException(
+ status_code=422, detail=f"音声ライブラリ {library_id} は不正なファイルです。"
+ )
+
+ # validate manifest version
+ vvlib_manifest = None
+ try:
+ vvlib_manifest = json.loads(
+ zf.read("vvlib_manifest.json").decode("utf-8")
+ )
+ except KeyError:
+ raise HTTPException(
+ status_code=422,
+ detail=f"指定された音声ライブラリ {library_id} にvvlib_manifest.jsonが存在しません。",
+ )
+ except Exception:
+ raise HTTPException(
+ status_code=422,
+ detail=f"指定された音声ライブラリ {library_id} のvvlib_manifest.jsonは不正です。",
+ )
+
+ try:
+ VvlibManifest.validate(vvlib_manifest)
+ except ValidationError:
+ raise HTTPException(
+ status_code=422,
+ detail=f"指定された音声ライブラリ {library_id} のvvlib_manifest.jsonに不正なデータが含まれています。",
+ )
+
+ if not Version.is_valid(vvlib_manifest["version"]):
+ raise HTTPException(
+ status_code=422, detail=f"指定された音声ライブラリ {library_id} のversionが不正です。"
+ )
+
+ try:
+ vvlib_manifest_version = Version.parse(
+ vvlib_manifest["manifest_version"]
+ )
+ except ValueError:
+ raise HTTPException(
+ status_code=422,
+ detail=f"指定された音声ライブラリ {library_id} のmanifest_versionが不正です。",
+ )
+
+ if vvlib_manifest_version > self.supported_vvlib_version:
+ raise HTTPException(
+ status_code=422, detail=f"指定された音声ライブラリ {library_id} は未対応です。"
+ )
+
+ if vvlib_manifest["engine_uuid"] != self.engine_uuid:
+ raise HTTPException(
+ status_code=422,
+ detail=f"指定された音声ライブラリ {library_id} は{self.engine_name}向けではありません。",
+ )
+
+ zf.extractall(library_dir)
+ return library_dir
+
+ def uninstall_library(self, library_id: str):
+ installed_libraries = self.installed_libraries()
+ if library_id not in installed_libraries.keys():
+ raise HTTPException(
+ status_code=404, detail=f"指定された音声ライブラリ {library_id} はインストールされていません。"
+ )
+
+ if not installed_libraries[library_id]["uninstallable"]:
+ raise HTTPException(
+ status_code=403, detail=f"指定された音声ライブラリ {library_id} はアンインストールできません。"
+ )
+
+ try:
+ shutil.rmtree(self.library_root_dir / library_id)
+ except Exception:
+ raise HTTPException(
+ status_code=500, detail=f"指定された音声ライブラリ {library_id} の削除に失敗しました。"
+ )
diff --git a/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifest.py b/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifest.py
new file mode 100644
index 0000000000000000000000000000000000000000..4a8f057216878af5a0ca9ba2053b247ac83b6408
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifest.py
@@ -0,0 +1,66 @@
+# マルチエンジン環境下においては、エンジンのバージョンがエディタのバージョンより
+# 古くなる可能性が十分に考えられる。その場合、エディタ側がEngineManifestの情報不足によって
+# エラーを吐いて表示が崩壊する可能性がある。これを防止するため、EngineManifest関連の定義を
+# 変更する際は、Optionalにする必要があることに留意しなければならない。
+
+from typing import List, Optional
+
+from pydantic import BaseModel, Field
+
+
+class UpdateInfo(BaseModel):
+ """
+ エンジンのアップデート情報
+ """
+
+ version: str = Field(title="エンジンのバージョン名")
+ descriptions: List[str] = Field(title="アップデートの詳細についての説明")
+ contributors: Optional[List[str]] = Field(title="貢献者名")
+
+
+class LicenseInfo(BaseModel):
+ """
+ 依存ライブラリのライセンス情報
+ """
+
+ name: str = Field(title="依存ライブラリ名")
+ version: Optional[str] = Field(title="依存ライブラリのバージョン")
+ license: Optional[str] = Field(title="依存ライブラリのライセンス名")
+ text: str = Field(title="依存ライブラリのライセンス本文")
+
+
+class SupportedFeatures(BaseModel):
+ """
+ エンジンが持つ機能の一覧
+ """
+
+ adjust_mora_pitch: bool = Field(title="モーラごとの音高の調整")
+ adjust_phoneme_length: bool = Field(title="音素ごとの長さの調整")
+ adjust_speed_scale: bool = Field(title="全体の話速の調整")
+ adjust_pitch_scale: bool = Field(title="全体の音高の調整")
+ adjust_intonation_scale: bool = Field(title="全体の抑揚の調整")
+ adjust_volume_scale: bool = Field(title="全体の音量の調整")
+ interrogative_upspeak: bool = Field(title="疑問文の自動調整")
+ synthesis_morphing: bool = Field(title="2人の話者でモーフィングした音声を合成")
+ manage_library: Optional[bool] = Field(title="音声ライブラリのインストール・アンインストール")
+
+
+class EngineManifest(BaseModel):
+ """
+ エンジン自体に関する情報
+ """
+
+ manifest_version: str = Field(title="マニフェストのバージョン")
+ name: str = Field(title="エンジン名")
+ brand_name: str = Field(title="ブランド名")
+ uuid: str = Field(title="エンジンのUUID")
+ url: str = Field(title="エンジンのURL")
+ icon: str = Field(title="エンジンのアイコンをBASE64エンコードしたもの")
+ default_sampling_rate: int = Field(title="デフォルトのサンプリング周波数")
+ terms_of_service: str = Field(title="エンジンの利用規約")
+ update_infos: List[UpdateInfo] = Field(title="エンジンのアップデート情報")
+ dependency_licenses: List[LicenseInfo] = Field(title="依存関係のライセンス情報")
+ supported_vvlib_manifest_version: Optional[str] = Field(
+ title="エンジンが対応するvvlibのバージョン"
+ )
+ supported_features: SupportedFeatures = Field(title="エンジンが持つ機能")
diff --git a/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifestLoader.py b/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifestLoader.py
new file mode 100644
index 0000000000000000000000000000000000000000..5f6f2199dad47f31ae985ef1e106fdf06c1dbfb7
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/engine_manifest/EngineManifestLoader.py
@@ -0,0 +1,51 @@
+import json
+from base64 import b64encode
+from pathlib import Path
+
+from .EngineManifest import EngineManifest, LicenseInfo, UpdateInfo
+
+
+class EngineManifestLoader:
+ def __init__(self, manifest_path: Path, root_dir: Path):
+ self.manifest_path = manifest_path
+ self.root_dir = root_dir
+
+ def load_manifest(self) -> EngineManifest:
+ manifest = json.loads(self.manifest_path.read_text(encoding="utf-8"))
+
+ manifest = EngineManifest(
+ manifest_version=manifest["manifest_version"],
+ name=manifest["name"],
+ brand_name=manifest["brand_name"],
+ uuid=manifest["uuid"],
+ url=manifest["url"],
+ default_sampling_rate=manifest["default_sampling_rate"],
+ icon=b64encode((self.root_dir / manifest["icon"]).read_bytes()).decode(
+ "utf-8"
+ ),
+ terms_of_service=(self.root_dir / manifest["terms_of_service"]).read_text(
+ "utf-8"
+ ),
+ update_infos=[
+ UpdateInfo(**update_info)
+ for update_info in json.loads(
+ (self.root_dir / manifest["update_infos"]).read_text("utf-8")
+ )
+ ],
+ # supported_vvlib_manifest_versionを持たないengine_manifestのために
+ # キーが存在しない場合はNoneを返すgetを使う
+ supported_vvlib_manifest_version=manifest.get(
+ "supported_vvlib_manifest_version"
+ ),
+ dependency_licenses=[
+ LicenseInfo(**license_info)
+ for license_info in json.loads(
+ (self.root_dir / manifest["dependency_licenses"]).read_text("utf-8")
+ )
+ ],
+ supported_features={
+ key: item["value"]
+ for key, item in manifest["supported_features"].items()
+ },
+ )
+ return manifest
diff --git a/voicevox_nemo_engine/voicevox_engine/engine_manifest/__init__.py b/voicevox_nemo_engine/voicevox_engine/engine_manifest/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..02c293179a59cbae3f28ce79ab8a31616fa69d19
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/engine_manifest/__init__.py
@@ -0,0 +1,7 @@
+from .EngineManifest import EngineManifest
+from .EngineManifestLoader import EngineManifestLoader
+
+__all__ = [
+ "EngineManifest",
+ "EngineManifestLoader",
+]
diff --git a/voicevox_nemo_engine/voicevox_engine/full_context_label.py b/voicevox_nemo_engine/voicevox_engine/full_context_label.py
new file mode 100644
index 0000000000000000000000000000000000000000..894a56751ad95a979487cf1cbf4e846f8e163d04
--- /dev/null
+++ b/voicevox_nemo_engine/voicevox_engine/full_context_label.py
@@ -0,0 +1,525 @@
+import re
+from dataclasses import dataclass
+from itertools import chain
+from typing import Dict, List, Optional
+
+import pyopenjtalk
+
+
+@dataclass
+class Phoneme:
+ """
+ 音素(母音・子音)クラス、音素の元となるcontextを保持する
+ 音素には、母音や子音以外にも無音(silent/pause)も含まれる
+
+ Attributes
+ ----------
+ contexts: Dict[str, str]
+ 音素の元
+ """
+
+ contexts: Dict[str, str]
+
+ @classmethod
+ def from_label(cls, label: str):
+ """
+ pyopenjtalk.extract_fullcontextで得られる音素の元(ラベル)から、Phonemeクラスを作成する
+ Parameters
+ ----------
+ label : str
+ pyopenjtalk.extract_fullcontextで得られるラベルを渡す
+
+ Returns
+ -------
+ phoneme: Phoneme
+ Phonemeクラスを返す
+ """
+
+ # フルコンテキストラベルの仕様は、
+ # http://hts.sp.nitech.ac.jp/?Download の HTS-2.3のJapanese tar.bz2 (126 MB)をダウンロードして、data/lab_format.pdfを見るとリストが見つかります。 # noqa
+ contexts = re.search(
+ r"^(?P