Upload 6 files

.gitattributes

@@ -1,35 +1,13 @@
-*.7z filter=lfs diff=lfs merge=lfs -text
-*.arrow filter=lfs diff=lfs merge=lfs -text
-*.bin filter=lfs diff=lfs merge=lfs -text
-*.bz2 filter=lfs diff=lfs merge=lfs -text
 *.ckpt filter=lfs diff=lfs merge=lfs -text
-*.ftz filter=lfs diff=lfs merge=lfs -text
-*.gz filter=lfs diff=lfs merge=lfs -text
-*.h5 filter=lfs diff=lfs merge=lfs -text
-*.joblib filter=lfs diff=lfs merge=lfs -text
-*.lfs.* filter=lfs diff=lfs merge=lfs -text
-*.mlmodel filter=lfs diff=lfs merge=lfs -text
-*.model filter=lfs diff=lfs merge=lfs -text
-*.msgpack filter=lfs diff=lfs merge=lfs -text
 *.npy filter=lfs diff=lfs merge=lfs -text
 *.npz filter=lfs diff=lfs merge=lfs -text
 *.onnx filter=lfs diff=lfs merge=lfs -text
-*.ot filter=lfs diff=lfs merge=lfs -text
-*.parquet filter=lfs diff=lfs merge=lfs -text
-*.pb filter=lfs diff=lfs merge=lfs -text
 *.pickle filter=lfs diff=lfs merge=lfs -text
 *.pkl filter=lfs diff=lfs merge=lfs -text
 *.pt filter=lfs diff=lfs merge=lfs -text
 *.pth filter=lfs diff=lfs merge=lfs -text
 *.rar filter=lfs diff=lfs merge=lfs -text
 *.safetensors filter=lfs diff=lfs merge=lfs -text
-saved_model/**/* filter=lfs diff=lfs merge=lfs -text
-*.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
-*.tflite filter=lfs diff=lfs merge=lfs -text
-*.tgz filter=lfs diff=lfs merge=lfs -text
-*.wasm filter=lfs diff=lfs merge=lfs -text
-*.xz filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
-*.zst filter=lfs diff=lfs merge=lfs -text
-*tfevents* filter=lfs diff=lfs merge=lfs -text
+g_02500000 filter=lfs diff=lfs merge=lfs -text
+generator_v1 filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,13 +1,23 @@
 ---
-title: MatchaTTS Ngngngan
-emoji: 📈
-colorFrom: green
-colorTo: purple
+title: MatchaTTS NgNgNgan
+emoji: 🗣️🎙️
+colorFrom: blue
+colorTo: indigo
 sdk: gradio
-sdk_version: 4.17.0
 app_file: app.py
 pinned: false
 license: agpl-3.0
+models: [doof-ferb/matcha_ngngngan]
+tags: [tts, vietnamese]
+preload_from_hub: ["doof-ferb/matcha_ngngngan ckpt/checkpoint_epoch420_slim.pt,hifigan/g_02500000"]
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+original:
+- https://github.com/shivammehta25/Matcha-TTS
+- https://huggingface.co/spaces/shivammehta25/Matcha-TTS/tree/main
+
+using my fork: https://github.com/phineas-pta/MatchaTTS_ngngngan
+
+data scraping code: https://github.com/phineas-pta/speech-synthesis-ngngngan
+
+download checkpoints: https://huggingface.co/doof-ferb/matcha_ngngngan

app.py

@@ -0,0 +1,122 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+
+import gradio as gr
+import torch
+from huggingface_hub import hf_hub_download
+
+from matcha.cli import get_torch_device, load_matcha, load_vocoder, process_text, to_waveform
+from matcha.utils.utils import plot_tensor
+
+
+TITLE="🍵 Matcha-TTS: A fast TTS architecture with conditional flow matching"
+DESCRIPTION = """# chuyển đổi chuyển văn bản thành giọng nói, sử dụng giọng đọc của nhà văn Nguyễn Ngọc Ngạn
+
+original: 🍵 https://github.com/shivammehta25/Matcha-TTS
+
+my personal checkpoints: a speech-synthesis model of Vietnamese M.C. Nguyễn Ngọc Ngạn
+
+the checkpoints is released under CC-BY-NC-SA-4.0
+
+In accordance with the terms of the CC-BY-NC-SA-4.0 license, the use of my checkpoints and any audio output generated by them for commercial purposes is strictly prohibited. This includes, but is not limited to:
+- online and offline voice cloning as a service
+- online and offline text-to-speech as a service
+- content creation for monetization on social media platforms
+
+Căn cứ vào các điều khoản của giấp phép CC-BY-NC-SA-4.0, việc sử dụng các checkpoints này và bất kỳ đầu ra âm thanh nào được tạo bởi chúng đều bị nghiêm cấm sử dụng cho mục đích thương mại. Điều này bao gồm, nhưng không giới hạn ở:
+- các dịch vụ nhân bản giọng nói trực tuyến và ngoại tuyến
+- các dịch vụ chuyển văn bản thành giọng nói trực tuyến và ngoại tuyến
+- tạo nội dung để kiếm tiền trên các nền tảng mạng xã hội"""
+
+
+DEMO_TEXT_0 = "Đây là một chương trình chuyển đổi văn bản thành giọng nói, sử dụng giọng đọc của nhà văn Nguyễn Ngọc Ngạn"
+DEMO_TEXT_1 = "Kính thưa quý vị, xin quý vị ghé vào thăm kênh Youtube Nguyễn Ngọc Ngạn, quý vị sẽ gặp lại tất cả các băng đọc truyện của Nguyễn Ngọc Ngạn do Trung tâm Thúy Nga thực hiện và những truyện mới cùng những buổi nói chuyện về nhiều đề tài phổ biến khác nhau. Xin chân thành cảm ơn và chờ đón quý vị."
+
+
+# model files already pre-downloaded, see README.md >>> preload_from_hub
+MODEL_PATH = hf_hub_download(repo_id="doof-ferb/matcha_ngngngan", filename="ckpt/checkpoint_epoch420_slim.pt")
+VOCODER_PATH = hf_hub_download(repo_id="doof-ferb/matcha_ngngngan", filename="hifigan/g_02500000")
+DEVICE = get_torch_device()
+MODEL = load_matcha(MODEL_PATH, DEVICE)
+VOCODER, DENOISER = load_vocoder(VOCODER_PATH, DEVICE)
+
+
+@torch.inference_mode()
+def process_text_gradio(text):
+	output = process_text(text, DEVICE)
+	return output["x_phones"][1::2], output["x"], output["x_lengths"]
+
+
+@torch.inference_mode()
+def synthesise_mel(text, text_length, n_timesteps, temperature, length_scale):
+	output = MODEL.synthesise(text, text_length, n_timesteps=n_timesteps,temperature=temperature, spks=None, length_scale=length_scale)
+	waveform = to_waveform(output["mel"], VOCODER, DENOISER).numpy()
+	return (22050, waveform), plot_tensor(output["mel"].squeeze().cpu().numpy())
+	# sample rate 22.05 kHz
+
+
+def example_cacher(text, n_timesteps, mel_temp, length_scale):
+	phones, text, text_lengths = process_text_gradio(text)
+	audio, mel_spectrogram = synthesise_mel(text, text_lengths, n_timesteps, mel_temp, length_scale)
+	return phones, audio, mel_spectrogram
+
+
+with gr.Blocks(title=TITLE, theme="soft") as demo:
+	processed_text = gr.State(value=None)
+	processed_text_len = gr.State(value=None)
+
+	with gr.Row():
+		gr.Markdown(DESCRIPTION)
+
+	with gr.Group():
+		with gr.Row():
+			text = gr.Textbox(label="nhập văn bản tiếng việt", lines=3)
+			synth_btn = gr.Button("Chuyển thành giọng nói", variant="primary", scale=0, size="lg")
+		with gr.Accordion(label="tuỳ chọn nâng cao", open=False):
+			with gr.Row():
+				n_timesteps = gr.Slider(label="số bước xoá nhiễu", minimum=1, maximum=100, step=1, value=50, interactive=True)
+				length_scale = gr.Slider(label="length scale", info="càng lớn thì đọc càng chậm", minimum=0.5, maximum=1.5,  step=0.05, value=.95, interactive=True)
+				mel_temp = gr.Slider(label="sampling temperature", minimum=0.00, maximum=2.001, step=0.16675, value=0.667, interactive=True,)
+				# idk min max of denoiser strength so let it default at 2.5e-4
+
+	with gr.Group():
+		with gr.Row():
+			audio = gr.Audio(label="audio", interactive=False)
+		with gr.Accordion(label="thông tin chuyên sâu", open=False):
+			with gr.Row():
+				phonetised_text = gr.Textbox(label="Văn bản dưới dạng mẫu tự biểu âm quốc tế (IPA)", info="khẩu âm Hà Nội", interactive=False, lines=3)
+				mel_spectrogram = gr.Image(label="mel spectrogram", interactive=False)
+
+	with gr.Row():
+		examples = gr.Examples(
+			label="ví dụ văn bản đầu vào",
+			examples=[
+				[DEMO_TEXT_0,  2, 0.677, 0.95],
+				[DEMO_TEXT_0,  4, 0.677, 0.95],
+				[DEMO_TEXT_0, 10, 0.677, 0.95],
+				[DEMO_TEXT_0, 50, 0.677, 0.95],
+				[DEMO_TEXT_1, 50, 0.677, 0.95],
+			],
+			fn=example_cacher,
+			inputs=[text, n_timesteps, mel_temp, length_scale],
+			outputs=[phonetised_text, audio, mel_spectrogram],
+			cache_examples=True,
+		)
+
+	with gr.Row():
+		gr.Markdown("[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/#fileId=https://huggingface.co/spaces/doof-ferb/MatchaTTS_ngngngan/blob/main/colab-notebook.ipynb)")
+
+	synth_btn.click(
+		fn=process_text_gradio,
+		inputs=[text],
+		outputs=[phonetised_text, processed_text, processed_text_len],
+		api_name="phonemize",
+		queue=True,
+	).then(
+		fn=synthesise_mel,
+		inputs=[processed_text, processed_text_len, n_timesteps, mel_temp, length_scale],
+		outputs=[audio, mel_spectrogram],
+		api_name="speak",
+	)
+
+demo.queue(default_concurrency_limit=5).launch()

colab-notebook.ipynb

@@ -0,0 +1,66 @@
+{
+	"cells": [
+		{
+			"cell_type": "code",
+			"execution_count": null,
+			"metadata": {},
+			"outputs": [],
+			"source": [
+				"!apt-get install espeak-ng\n",
+				"%pip install -q git+https://github.com/phineas-pta/MatchaTTS_ngngngan.git\n",
+				"\n",
+				"import IPython.display as ipd\n",
+				"import torch\n",
+				"from huggingface_hub import hf_hub_download\n",
+				"from matcha.cli import get_torch_device, load_matcha, load_vocoder, process_text, to_waveform\n",
+				"\n",
+				"MODEL_PATH = hf_hub_download(repo_id=\"doof-ferb/matcha_ngngngan\", filename=\"ckpt/checkpoint_epoch420_slim.pt\")\n",
+				"VOCODER_PATH = hf_hub_download(repo_id=\"doof-ferb/matcha_ngngngan\", filename=\"hifigan/g_02500000\")\n",
+				"DEVICE = get_torch_device()\n",
+				"MODEL = load_matcha(MODEL_PATH, DEVICE)\n",
+				"VOCODER, DENOISER = load_vocoder(VOCODER_PATH, DEVICE)\n",
+				"\n",
+				"@torch.inference_mode()\n",
+				"def tts(text, n_timesteps, temperature, length_scale, denoiser_strength):\n",
+				"\ttmp0 = process_text(text, DEVICE)\n",
+				"\tphones, txt, txt_len = tmp0[\"x_phones\"][1::2], tmp0[\"x\"], tmp0[\"x_lengths\"]\n",
+				"\toutput = MODEL.synthesise(txt, txt_len, n_timesteps=n_timesteps, temperature=temperature, spks=None, length_scale=length_scale)\n",
+				"\twaveform = to_waveform(output[\"mel\"], VOCODER, DENOISER, denoiser_strength=denoiser_strength).numpy()\n",
+				"\tipd.display(ipd.Audio(waveform, rate=22050))\n",
+				"\tipd.display(ipd.Markdown(\"Văn bản dưới dạng mẫu tự biểu âm quốc tế (IPA), khẩu âm Hà Nội\\n\\n\" + phones))"
+			]
+		},
+		{
+			"cell_type": "code",
+			"execution_count": null,
+			"metadata": {},
+			"outputs": [],
+			"source": [
+				"tts(\n",
+				"\"\"\"Kính thưa quý vị, xin quý vị ghé vào thăm kênh Youtube Nguyễn Ngọc Ngạn,\n",
+				"quý vị sẽ gặp lại tất cả các băng đọc truyện của Nguyễn Ngọc Ngạn do Trung tâm Thúy Nga thực hiện\n",
+				"và những truyện mới cùng những buổi nói chuyện về nhiều đề tài phổ biến khác nhau.\n",
+				"Xin chân thành cảm ơn và chờ đón quý vị.\"\"\",\n",
+				"n_timesteps=50, temperature=0.667, length_scale=.95, denoiser_strength=2.5e-4\n",
+				")"
+			]
+		}
+	],
+	"metadata": {
+		"colab": {
+			"private_outputs": true,
+			"provenance": [],
+			"gpuType": "T4"
+		},
+		"kernelspec": {
+			"name": "python3",
+			"display_name": "Python 3"
+		},
+		"language_info": {
+			"name": "python"
+		},
+		"accelerator": "GPU"
+	},
+	"nbformat": 4,
+	"nbformat_minor": 0
+}

packages.txt

@@ -0,0 +1 @@
+espeak-ng

requirements.txt

@@ -0,0 +1,2 @@
+git+https://github.com/phineas-pta/MatchaTTS_ngngngan.git
+# --find-links=https://download.pytorch.org/whl/torch_stable.html