babysor/MockingBird

项目概览

该项目支持中文语音克隆这一差异化特性，提供了从预训练模型到完整训练流程的工具集。

项目类型

模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

License 待确认

适合谁

• 有技术能力手动配置Python环境和编译依赖，且需要构建中文语音克隆应用的开发者。

核心能力

• 使用5秒语音样本克隆声音并生成语音，支持中文和英文。
• 允许用户使用或微调预训练的编码器/声码器模型以获得推理结果。
• 包含用于预处理数据集和训练编码器、合成器（Tacotron）和声码器（WaveRNN、HiFi-GAN）组件的脚本。
• 提供Web服务器，可通过远程调用来提供合成结果服务。
• 包含一个桌面 GUI 工具（demo_toolbox.py），用于测试和与模型进行交互。
• 提供命令行脚本，直接从文本和WAV文件生成语音。

限制与风险

• demo_cli 目前无法正常工作，因为原始的预训练合成器模型与中文符号不兼容。
• demo_toolbox.py 中使用的 PyQt5 在没有变通方法的情况下与 M1 芯片不兼容。
• 训练过程需要大量显存（VRAM），可能需要手动调整批处理大小。
• 训练时可能需要将虚拟内存更改为100G。

如何开始

• 安装难度较高，需手动安装Python依赖，在M1芯片设备上可能还需编译C扩展。成功运行需配置PyTorch，安装ffmpeg，执行pip install requirements，获取或训练合成器模型，然后运行web.py或demo_toolbox.py。

核验依据

• GitHub 项目简介: 🚀Clone a voice in 5 seconds to generate arbitrary speech in real-time
• README: 🌍 **Chinese** supported mandarin and tested with multiple datasets: aidatatang_200zh, magicdata, aishell3, data_aishell, and etc. 🤩 **PyTorch** worked for pytorch, tested in versi…
• README: 🚧 While I no longer actively update this repo, you can find me continuously pushing this tech forward to good side and open-source. I'm also building an optimized and cloud hosted…
• README: Note that we are using the pretrained encoder/vocoder but not synthesizer, since the original model is incompatible with the Chinese symbols. It means the demo_cli is not working…
• README: Train the synthesizer: `python train.py --type=synth mandarin <datasets_root>/SV2TTS/synthesizer`

内容核验时间：