在深度學習語音合成中，解決數據不充分導致的模型強健性較低和缺乏可控性問題的策略可能包括以下幾個方向：

1. **數據增強（Data Augmentation）**：通過對現有語音數據進行變換，如改變音調、速度、噪音添加等，來增加訓練數據的多樣性，使得模型能在各種情況下表現更好。

2. **跨語言學習（Cross-lingual Learning）**：利用在其他語言上已經訓練好的模型來提升目標語言的性能，特別是對於數據稀缺的語言，這種方法可以有效提高語音合成的質量。

3. **遷移學習（Transfer Learning）**：將在某個特定任務上學習到的知識轉移到另一個相關任務上，幫助改善在數據不足的情況下的學習效果。

4. **生成對抗網絡（GANs）**：利用生成對抗網絡來增強生成的數據質量，並在生成過程中提高模型的敏感性和可控性。

5. **多模態學習（Multimodal Learning）**：結合其他類型的數據源（如文本、影像或情境信息）來提供額外的上下文信息，可以增強模型的性能，並提高語音合成的可控性。

未來的研究方向可能會有以下幾個技術進展：

1. **可控性強化**：開發能夠細粒度控制合成語音的模型，讓使用者能調整語音的情感、風格、速度等性質。

2. **自監督學習（Self-supervised Learning）**：研究如何利用未標註的數據進行有效的訓練，以提升模型的強健性和效能。

3. **模型架構改進**：探索新的網絡架構，如小型化模型（Lightweight Models）、混合架構（Hybrid Architectures）等，以減少對數據量的依賴，同時維持高效能。

4. **情感識別與合成**：針對合成語音的情感表現進行深入研究，以提升語音的自然感和人性化。

通過這些策略和技術進展，可以在深度學習的框架下持續提升語音合成的質量和可用性。
在深度學習語音合成的技術中，如何解決數據不充分導致的模型強健性較低及缺乏可控性的問題？未來的研究方向可能會有哪些技術進展？
**語音合成**是將人類語音用人工的方式所產生。若是將電腦系統用在語音合成上，則稱為語音合成器，而語音合成器可以用軟 / 硬體所實現。文字轉語音（Text-To-Speech，TTS）系統則是將一般語言的文字轉換為語音，其他的系統可以描繪語言符號的表示方式，就像音標轉換至語音一樣。

而合成後的語音則是利用在資料庫內的許多已錄好的語音連接起來。系統則因為儲存的語音單元大小不同而有所差異，若是要儲存 phone 以及 diphone 的話，系統必須提供大量的儲存空間，但是在語意上或許會不清楚。而用在特定的使用領域上，儲存整字或整句的方式可以達到高品質的語音輸出。另外，包含了聲道模型以及其他的人類聲音特徵參數的合成器則可以創造出完整的合成聲音輸出。

一個語音合成器的品質通常是決定於人聲的相似度以及語意是否能被了解。一個清晰的文字轉語音程式應該提供人類在視覺受到傷害或是得到失讀症時，能夠聽到並且在個人電腦上完成工作。從 80 年代早期開始，許多的電腦作業系統已經包含了語音合成器了。

## 文字處理的概觀

## 歷史

早在 17 世紀就有法國人研發機械式的說話裝置。直到 19 世紀，貝爾實驗室對於電子語音合成技術的研究，才開啟近代語音合成技術的發展。貝爾實驗室在 1939 年製作出第一個電子語音合成器 VODER，是一種利用共振峰原理所製作的合成器。
1960 年，瑞典語言學家 G. Fant 則提出利用線性預測編碼技術（LPC）來作為語音合成分析技術，並推動了日後的發展。後來 1980 年代 Moulines E 和 Charpentier F 提出新的語音合成演算法 PSOLA，此技術可以合成比較自然的語音。

## 合成器技術

### 串接合成

#### 單位選擇合成

這通常是使用字詞預錄的方式，將各字詞的發音預先錄製好，經處理後存放在資料庫中。使用時再將預發音的字句斷成字詞，再把發音的資料自資料庫中取出，交由 DSP 去處理發音的合成。

#### Diphone 合成

#### Domain-specific 合成

### 共振峰合成

### 發音合成

### HMM 基礎合成

### 正弦波合成

### 深度學習合成

深度學習語音合成使用深度神經網路（DNN）從文字（文字到語音）或頻譜（聲碼器）產生人工語音。深度神經網路使用大量錄製的語音進行訓練，如果是文字到語音系統，則使用和語音相對的文字。

基於 DNN 的語音合成器正在接近人聲的自然度。該方法的缺點的例子是當數據不充分時強健性較低，缺乏可控性，自動回歸模型的效能低。一些局限性（如缺乏可控性）可以通過未來的研究得到解決。

目前以 Tacotron2 (https://pytorch.org/hub/nvidia\_deeplearningexamples\_tacotron2/ （頁面存檔備份，存於網際網路檔案館）) + Waveglow (https://arxiv.org/abs/1811.00002 （頁面存檔備份，存於網際網路檔案館）) 只需要數十個小時的錄音語料加以訓練即可合成出品質非常高的語音。但是對於聲調語言 (如中文或台語)，因為有不同程度的變調需求，有時合成的語音會出現變調錯誤的情況。

## 相關比賽

* Blizzard Challenge
* voice conversion

## 含有語音合成器的軟體

* NVDA（開源多國語言螢幕報讀軟體）
* 台灣工研院資通所語音團隊開發出的 mTTS
* JAWS（商業付費螢幕報讀軟體）
* 內建於蘋果電腦相關產品的 VoiceOver Utility
* Android 1.6 版加入支援語音合成的功能。
* 微軟在 1995 年開始，開發了一套 Microsoft Speech API，微軟的一些作業系統或軟體有提供支援語音功能。
* VOCALOID 及 VOICEROID，前者偏重歌唱而後者偏重 TTS。
* 盛大遊戲在 2012 年初，發佈了 Android 語音合成平臺聼聼中心，支援本地中英文合成及變聲等服務。
* 台語語音筆記本為台灣話的語音輸出 (Taiwanese Text-to-speech) 軟體。系統使用台語聲調群剖析器 (Taiwanese tone group parser)、語音引擎 (Speech engine) 及語音合成器 (Speech synthesizer) 直接安裝於個人電腦獨立運作，不需連結 MS Speech SDK 或 IBM TTS Engine 。使用者圖行形介面包含可用台語羅馬字或中文輸入、有聲辭典同步顯示、有聲讀本製作、外部應用程式 / 網路瀏覽器語音輸出、台語調符轉換及使用中英文語詞搜尋等功能 。

## 語音合成標記語言

## 參見

* 人機介面
* 語音辨識
* 手寫辨識
* VOCALOID
* 初音未來
* 智慧型儀錶
* 智慧型玩具
* 電子地圖
* 電子導遊
* 電子詞典

## 參考資料

## 外部連結

* TTS - ProgWiki（頁面存檔備份，存於網際網路檔案館）
**語音合成**是將人類語音用人工的方式所產生。若是將電腦系統用在語音合成上，則稱為語音合成器，而語音合成器可以用軟 / 硬體所實現。文字轉語音（Text-To-Speech，TTS）系統則是將一般語言的文字轉換為語音，其他的系統可以描繪語言符號的表示方式，就像音標轉換至語音一樣。

而合成後的語音則是利用在資料庫內的許多已錄好的語音連接起來。系統則因為儲存的語音單元大小不同而有所差異，若是要儲存 phone 以及 diphone 的話，系統必須提供大量的儲存空間，但是在語意上或許會不清楚。而用在特定的使用領域上，儲存整字或整句的方式可以達到高品質的語音輸出。另外，包含了聲道模型以及其他的人類聲音特徵參數的合成器則可以創造出完整的合成聲音輸出。

一個語音合成器的品質通常是決定於人聲的相似度以及語意是否能被了解。一個清晰的文字轉語音程式應該提供人類在視覺受到傷害或是得到失讀症時，能夠聽到並且在個人電腦上完成工作。從 80 年代早期開始，許多的電腦作業系統已經包含了語音合成器了。

## 文字處理的概觀 **語音合成**是將人類語音用人工的方式所產生。若是將電腦系統用在語音合成上，則稱為語音合成器，而語音合成器可以用軟 / 硬體所實現。文字轉語音（Text-To-Speech，TTS）系統則是將一般語言的文字轉換為語音，其他的系統可以描繪語言符號的表示方式，就像音標轉換至語音一樣。

而合成後的語音則是利用在資料庫內的許多已錄好的語音連接起來。系統則因為儲存的語音單元大小不同而有所差異，若是要儲存 phone 以及 diphone 的話，系統必須提供大量的儲存空間，但是在語意上或許會不清楚。而用在特定的使用領域上，儲存整字或整句的方式可以達到高品質的語音輸出。另外，包含了聲道模型以及其他的人類聲音特徵參數的合成器則可以創造出完整的合成聲音輸出。

一個語音合成器的品質通常是決定於人聲的相似度以及語意是否能被了解。一個清晰的文字轉語音程式應該提供人類在視覺受到傷害或是得到失讀症時，能夠聽到並且在個人電腦上完成工作。從 80 年代早期開始，許多的電腦作業系統已經包含了語音合成器了。

## 文字處理的概觀 ## 歷史

早在 17 世紀就有法國人研發機械式的說話裝置。直到 19 世紀，貝爾實驗室對於電子語音合成技術的研究，才開啟近代語音合成技術的發展。貝爾實驗室在 1939 年製作出第一個電子語音合成器 VODER，是一種利用共振峰原理所製作的合成器。
1960 年，瑞典語言學家 G. Fant 則提出利用線性預測編碼技術（LPC）來作為語音合成分析技術，並推動了日後的發展。後來 1980 年代 Moulines E 和 Charpentier F 提出新的語音合成演算法 PSOLA，此技術可以合成比較自然的語音。 **WaveNet**(波網) 是一個用於直接生成聲音訊號的人工神經網路。由倫敦人工智慧公司 DeepMind 的研究人員於 2016 年 9 月的一篇論文中提出。

WaveNet 通過使用用真實語音記錄訓練的神經網絡方法直接模擬波形，能夠生成聽起來相對真實的人類聲音。除了語音合成外，WaveNet 也能應用在音樂生成以及語音辨識等領域。

2018 年，Google 在其雲端語音合成服務 Google Cloud Text-to-Speech 中提供了基於 WaveNet 的語音合成 API。截至 2019 年，該產品提供了 32 種語言以及多種不同音色的語音合成服務，且基於 WaveNet 的合成結果在自然度上相比傳統方法更接近人類語音。

## 背景

在 WaveNet 被提出之前，傳統上常見語音合成的方法有串接生成 (Concatenative synthesis) 及參數化法 (Parametric method) 等。串接生成是透過錄製多段聲音來拼接合成目標語句；參數化法則是用模型生成聲音特徵的參數，再經由聲碼器合成聲音。

近年，隨著深度學習興起，使用人工神經網路合成語音的方法也被提出，如 Tacotron。該模型利用人工神經網路生成目標聲音的時頻譜或特徵參數，再透由 Griffin-Lim 演算法或其他聲碼器合成聲音。

然而無論上述何種方法，皆無法直接生成聲音訊號。原因在於即便僅僅一秒的聲音訊號，就可能包含了數萬個樣本點，要對龐大的樣本點之間的關聯性建模是相當困難的。

WaveNet 結合了自迴歸特性和空洞卷積神經網路 (Dilated Convolutional Neural Network) 架構，成功的提出第一個能夠生成高品質聲音樣本點的人工神經網路模型。