RVC-Boss/GPT-SoVITS

项目概览

支持仅使用 1 分钟语音数据训练 TTS 模型，且支持跨中文、英文、日文、韩文和粤语进行推理。

项目类型

语音音频

应用场景

会议记录 · 语音音频

部署方式

Python 环境

License

MIT

适合谁

• 希望以较少的数据量（1分钟或5秒样本）实现语音克隆及 TTS 的内容创作者和开发者。
• 适合需要通过图形化 WebUI 界面进行操作，而非纯代码调用模式的普通用户。

核心能力

• 用户输入一段 5 秒钟的人声音频样本，即可进行文本转语音转换。该能力无需进行前置的模型训练步骤，通过参考样本直接生成目标声音。
• 利用仅 1 分钟的训练数据对模型进行微调，以提升声音的相似度和真实感，从而得到贴合特定发音人的专属 TTS 模型。
• 支持使用与训练数据集语言不同的文本进行推理。目前该功能明确支持的语言包括英语、日语、韩语、粤语和中文。
• 计划开发预训练微调的预设 GPT 模型，以实现更好的情感控制效果。
• 计划提供混合不同 TTS 模型的能力。

限制与风险

• 在 Mac 设备上使用 GPU 训练出的模型，其质量明显低于在其他设备上训练的结果，因此该项目在 Mac 上推荐使用 CPU 进行训练。
• 版本 3 曾因非整数倍上采样导致出现金属感伪影问题，选用特定版本时需予以留意。

如何开始

• 具有中等上手难度。若不使用整合包，需创建 conda 环境（如指定 Python 3.10），运行安装脚本并配置对应设备（如 CU126/CU128/CPU），且需要手动下载并放置预训练模型。

核验依据

• GitHub 项目简介: 1 min voice data can also be used to train a good TTS model! (few shot voice cloning)
• README: 1. **Zero-shot TTS:** Input a 5-second vocal sample and experience instant text-to-speech conversion. 2. **Few-shot TTS:** Fine-tune the model with just 1 minute of training data…
• README: [](https://colab.research.google.com/github/RVC-Boss/GPT-SoVITS/blob/main…
• Release: 20250606v2pro
• README: Version 4 fixes the issue of metallic artifacts in Version 3 caused by non-integer multiple upsampling, and natively outputs 48k audio to prevent muffled sound (whereas Version 3…

内容核验时间：