Beatrice Trainer 2

--- license: mit pipeline_tag: audio-to-audio tags: - audio - speech - voice-conversion datasets: - reazon-research/reazonspeech - dns-challenge - libritts-r --- # Beatrice Trainer 超低遅延・低負荷・低容量を特徴とする完全無料の声質変換 VST 「[Beatrice 2](https://prj-beatrice.com)」のモデル学習用ツールキットです。 Beatrice 2 は、以下を目標に開発されています。 * 自分の変換された声を聴きながら、歌を快適に歌えるようにする * 入力された声の抑揚を変換音声に正確に反映し、繊細な表現を可能にする * 変換音声の高い自然性と明瞭さ * 多様な変換先話者 * 公式 VST での変換時、外部の録音機器を使った実測で 50ms 程度の遅延 * 開発者のノート PC (Intel Core i7-1165G7) でシングルスレッドで動作させ、RTF < 0.25 となる程度の負荷 * 最小構成で 30MB 以下の容量 * VST と [VC Client](https://github.com/w-okada/voice-changer) での動作 * その他 (内緒) ## Prerequisites Beatrice は、既存の学習済みモデルを用いて声質の変換を行うだけであれば GPU を必要としません。 しかし、新たなモデルの作成を効率良く行うためには GPU が必要です。 学習スクリプトを実行すると、デフォルト設定では 9GB 程度の VRAM を消費します。 GeForce RTX 4090 を使用した場合、 1 時間程度で学習が完了します。 GPU を手元に用意できない場合でも、以下のリポジトリを使用して Google Colab 上で学習を行うことができます。 * [w-okada/beatrice-trainer-colab](https://github.com/w-okada/beatrice-trainer-colab) ## Getting Started ### 1. Download This Repo Git などを使用して、このリポジトリをダウンロードしてください。 ```sh git lfs install git clone https://huggingface.co/fierce-cats/beatrice-trainer cd beatrice-trainer ``` ### 2. Environment Setup Poetry などを使用して、依存ライブラリをインストールしてください。 ```sh poetry install poetry shell # Alternatively, you can use pip to install dependencies directly: # pip3 install -e . ``` 正しくインストールできていれば、 `python3 beatrice_trainer -h` で以下のようなヘルプが表示されます。 ``` usage: beatrice_trainer [-h] [-d DATA_DIR] [-o OUT_DIR] [-r] [-c CONFIG] options: -h, --help show this help message and exit -d DATA_DIR, --data_dir DATA_DIR directory containing the training data -o OUT_DIR, --out_dir OUT_DIR output directory -r, --resume resume training -c CONFIG, --config CONFIG path to the config file ``` ### 3. Prepare Your Training Data 下図のように学習データを配置してください。 ``` your_training_data_dir +---alice | +---alices_wonderful_speech.wav | +---alices_excellent_speech.flac // FLAC, MP3, and some other formats are also okay. | `---... +---bob | +---bobs_fantastic_speech.wav | +---bobs_speeches | | `---bobs_awesome_speech.wav // Audio files in nested directory will also be used. | `---... `---... ``` 学習データ用ディレクトリの直下に各話者のディレクトリを作る必要があります。 各話者のディレクトリの中の構造や音声ファイルの名前は自由です。 学習を行うデータが 1 話者のみの場合も、話者のディレクトリを作る必要があることに注意してください。 ``` your_training_data_dir_with_only_one_speaker +---charlies_brilliant_speec...