Piper Plus Tsukuyomi Chan

⚠️ Breaking change (2026-05): このモデルは MB-iSTFT-VITS2 アーキテクチャの新世代版です。piper-plus PR #320 以降のランタイムで動作します。出力形状 [B, 1, T] は維持されているため、C++/Rust/C#/Go/WASM ランタイムは修正不要で本モデルを推論できます。

Sample Audio

サンプルは --length-scale 1.5 --noise-scale 0.667 で生成。MB-iSTFT 版はデフォルト DP が旧 HiFi-GAN 版より速い発話傾向のため、自然な発話速度に整えるために length-scale を上げています。

Model Details

MB-iSTFT-VITS2 Decoder の利点

Inference Results (length_scale=1.5)

Usage

推論 (テキスト直接入力)

# 日本語
CUDA_VISIBLE_DEVICES="" uv run python -m piper_train.infer_onnx \
  --model tsukuyomi-chan-6lang-fp16.onnx \
  --config config.json \
  --output-dir ./output \
  --text "こんにちは、今日は良い天気ですね。" \
  --language ja-en-zh-es-fr-pt \
  --speaker-id 0 \
  --noise-scale 0.667 \
  --length-scale 1.5

# 英語
CUDA_VISIBLE_DEVICES="" uv run python -m piper_train.infer_onnx \
  --model tsukuyomi-chan-6lang-fp16.onnx \
  --config config.json \
  --output-dir ./output \
  --text "Hello, how are you today?" \
  --language ja-en-zh-es-fr-pt \
  --speaker-id 0 \
  --noise-scale 0.667 \
  --length-scale 1.5

# 混合テキスト (コードスイッチング)
CUDA_VISIBLE_DEVICES="" uv run python -m piper_train.infer_onnx \
  --model tsukuyomi-chan-6lang-fp16.onnx \
  --config config.json \
  --output-dir ./output \
  --text "今日はgood morningですね" \
  --language ja-en-zh-es-fr-pt \
  --speaker-id 0 \
  --noise-scale 0.667 \
  --length-scale 1.5

推奨推論パラメータ

Training

ベースモデル

ayousanz/piper-plus-base の MB-iSTFT-VITS2 ベースモデル (571 話者、508,187 発話、75 epoch スクラッチ学習) からファインチューニング。

転移学習方式

1. --resume-from-multispeaker-checkpoint でベースモデルからロード
   • emb_g (571 話者分の話者埋め込み) を自動除去
   • emb_lang に conditioning 分布補正を適用
   • --freeze-dp を自動有効化 (Duration Predictor の catastrophic forgetting 防止)
2. 500 epoch ファインチューニング (100発話、lr=2e-5)
3. ONNX エクスポート前に emb_lang[0] (JA) → emb_lang[1:5] (EN/ZH/ES/FR/PT) にコピーして声質統一 (--unify-emb-lang 自動実行)

学習コマンド

uv run python -m piper_train \
  --dataset-dir /path/to/tsukuyomi-dataset \
  --prosody-dim 16 \
  --accelerator gpu --devices 1 --precision 32-true \
  --max_epochs 500 --batch-size 4 --samples-per-speaker 4 \
  --checkpoint-epochs 50 --quality medium \
  --base_lr 2e-5 --disable_auto_lr_scaling \
  --ema-decay 0.9995 \
  --max-phoneme-ids 400 \
  --no-wavlm \
  --resume-from-multispeaker-checkpoint /path/to/base_model.ckpt \
  --default_root_dir /path/to/output

Files

• tsukuyomi-chan-6lang-fp16.onnx - ONNX モデル (38MB, FP16, MB-iSTFT-VITS2, emb_lang 後処理済み)
• config.json - モデル設定 (173 音素マップ、6 言語)
• samples/ - サンプル音声 (length_scale=1.5)

Credits

• つくよみちゃんコーパス: 夢前黎
• Piper TTS: rhasspy/piper
• MB-iSTFT-VITS: Kawamura et al., 2023
• Piper Plus: ayutaz/piper-plus (PR #320 で MB-iSTFT 統一)

License

ライセンスは、つくよみちゃんコーパス│声優統計コーパス(JVSコーパス準拠) に準じます