Du hast einen ComfyUI-Workflow? Erstelle direkt im Browser eine verständliche Workflow-Dokumentation.Workflow verständlich machen.Jetzt ausprobieren ↗
Common Voice 日本語(CC0)のみで学習した、完全公開・完全再現可能な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム(cadence)を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています(リズム仮名化研究のベースライン。通常の TTS としてそのまま使えます — 推論時は cadence 非注入で、話者の弾き分けは...
Modellquelle
Quellenbeschreibung
cv_r1) — 日本語多話者 TTS / 声道リズム仮名化研究モデルCommon Voice 日本語(CC0)のみで学習した、完全公開・完全再現可能な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム(cadence)を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています(リズム仮名化研究のベースライン。通常の TTS としてそのまま使えます — 推論時は cadence 非注入で、話者の弾き分けは speaker embedding によります)。
Quellen
1 QuelleVerifiziert 15. Aug.
Modellartefakte
1 Artefaktmodel_name_e10_s9019.safetensors
safetensors · 241 MB · SHA-256 2706f42553e8…5a3f · Hugging Face
HerunterladenQuellenauszüge
2 Auszügecv_0001〜cv_0298)layer-b-cadence-seq) — Colab ノート一式で誰でもゼロから再学習できます話者マップ(x-vector UMAP)から話者を選んで合成・複数話者の混合(virtual 話者)ができる インタラクティブデモ: https://huggingface.co/spaces/slp-hu/cadence-cv_r1-demo
Colab で試す場合は fork の README の Colab バッジ(合成ノート cv_r1_synth_colab.ipynb)から。
from style_bert_vits2.tts_model import TTSModel
from style_bert_vits2.nlp import bert_models
from style_bert_vits2.constants import Languages
from huggingface_hub import hf_hub_download
repo = "slp-hu/cadence-cv_r1"
model_file = hf_hub_download(repo, "model_name_e10_s9019.safetensors")
config_file = hf_hub_download(repo, "config.json")
style_file = hf_hub_download(repo, "style_vectors.npy")
bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
model = TTSModel(model_path=model_file, config_path=config_file,
style_vec_path=style_file, device="cuda")
sr, audio = model.infer(text="音声合成のテストです。", speaker_id=0)
※ コード側は fork(layer-b-cadence-seq)を使ってください(cadence 拡張層を含む state dict のため)。
| ファイル | 内容 |
|---|---|
model_name_e10_s9019.safetensors | 推論用モデル(10 epoch / 9,019 step) |
config.json / style_vectors.npy | 合成に必要な設定・スタイルベクトル |
speaker_map.json | 話者 x-vector の UMAP 2次元座標(デモの話者マップ用) |
reference_clips/ | 各話者の元音声サンプル 1 発話(Opus、CC0。合成音との聴き比べ用) |
評価は fork の colab/cv_r1_eval_speaker.ipynb で再現できます。
本モデルを、実在の人物になりすます目的、詐欺・なりすまし電話・ディープフェイク等の欺瞞的用途、 その他他者の権利を侵害する用途に使用しないでください。話者は Common Voice に CC0 で音声を提供した 方々であり、その意図を尊重した利用をお願いします。
本モデルは、話者の韻律リズム(cadence)を鍵付きで仮名化する研究(cadence プロジェクト)の 公開サブトラックとして構築されました。論文は準備中です。それまでの引用は本リポジトリと Zenodo データセット(DOI 10.5281/zenodo.21119791)をご利用ください。
Maintained by SLP Lab, Hosei University.
--- license: agpl-3.0 language: - ja pipeline_tag: text-to-speech tags: - text-to-speech - style-bert-vits2 - japanese - speech-synthesis - voice-anonymization base_model: litagin/Style-Bert-VITS2-2.0-base-JP-Extra --- # cadence CV-298 (`cv_r1`) — 日本語多話者 TTS / 声道リズム仮名化研究モデル Common Voice 日本語（CC0）のみで学習した、**完全公開・完全再現可能**な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム（cadence）を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています（リズム仮名化研究のベースライン。**通常の TTS としてそのまま使えます** — 推論時は cadence 非注入で、話者の弾き分けは speaker embedding によります）。 - **話者数**: 298（Common Voice 日本語話者、`cv_0001`〜`cv_0298`） - **学習データ**: [Zenodo: DOI 10.5281/zenodo.21119791](https://doi.org/10.5281/zenodo.21119791)（CC0 / wav 18,015 / 44.1 kHz mono） - **学習コード**: [slp-hu/Style-Bert-VITS2 (branch `layer-b-cadence-seq`)](https://github.com/slp-hu/Style-Bert-VITS2/tree/layer-b-cadence-seq) — Colab ノート一式で誰でもゼロから再学習できます - **底モデル**: [litagin/Style-Bert-VITS2-2.0-base-JP-Extra](https://huggingface.co/litagin/Style-Bert-VITS2-2.0-base-JP-Extra)（AGPL-3.0）からの warm-start（10 epoch / batch 16） ## 🔊 デモ 話者マップ（x-vector UMAP）から話者を選んで合成・複数話者の混合（virtual 話者）ができる インタラクティブデモ: **https://huggingface.co/spaces/slp-hu/cadence-cv_r1-demo** Colab で試す場合は fork の README の Colab バッジ（合成ノート `cv_r1_synth_colab.ipynb`）から。 ## 使い方（Python） ```python from style_bert_vits2.tts_model import TTSModel from style_bert_vits2.nlp import bert_models from style_bert_vits2.constants import Languages from huggingface_hub import hf_hub_download repo = "slp-hu/cadence-cv_r1" model_file = hf_hub_download(repo, "model_name_e10_s9019.safetensors") config_file = hf_hub_download(repo, "config.json") style_file = hf_hub_download(repo, "style_vectors.npy") bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm") bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm") model = TTSModel(model_path=model_file, config_path=config_file, style_vec_path=style_file, device="cuda") sr, audio = model.infer(text="音声合成のテストです。", speaker_id=0) ``` ※ コード側は fork（`layer-b-cadence-seq`）を使ってください（cadence 拡張層を含む state dict のため）。 ## 同梱ファイル | ファイル | 内容 | |---|---| | `model_name_e10_s9019.safetensors` | 推論用モデル（10 epoch / 9,019 step） | | `config.json` / `style_vectors.npy` | 合成に必要な設定・スタイルベクトル | | `speaker_map.json` | 話者 x-vector の UMAP 2次元座標（デモの話者マップ用） | | `reference_clips/` | 各話者の元音声サンプル 1 発話（Opus、CC0。合成音との聴き比べ用） | ## 評価（30...
Source context: 18 downloads · 0 likes · Pipeline text-to-speech · Repo slp-hu/cadence-cv_r1