k2-fsa/OmniVoice

项目概览

值得关注的是，omnivoice 将超过 600 种语言的语音合成、声音克隆、声音设计和自动选声放在同一生成接口下，并提供基于 JSONL 的多 GPU 批量推理。项目还报告实时因子最低可达 0.025，但选型时仍需结合自身硬件与文本进行验证。

项目类型

模型开发 · 模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在一个项目中评估超过 600 种语言文本转语音能力的开发者和语音应用团队。
• 同时需要声音克隆、属性驱动声音设计和自动选声，并希望通过统一生成接口调用这些模式的团队。
• 需要本地自托管，并希望从网页界面试用逐步转向命令行、Python 库或批量推理的用户。
• 需要参考数据准备、训练、评估和微调流程来开展模型定制的工程人员。

核心能力

• 接收待合成文本，并在超过 600 种受支持语言中生成对应语音。用户价值在于可用同一项目处理多语言语音生成任务；该能力当前可用。
• 使用一段较短的参考录音及其转写文本生成克隆声音，再以该声音朗读目标文本。它适用于已获得授权且需要保持特定声音特征的生成任务；该能力当前可用。
• 无需参考音频，可通过性别、年龄、音高、耳语风格、英语口音和中文方言等属性描述创建声音。它适合没有目标录音但需要指定声音方向的场景；该能力当前可用。
• 当用户既不提供参考录音，也不提供声音设计指令时，由模型自动选择声音并生成语音。它可以减少必须准备声音条件的环节；该能力当前可用。
• 通过文本内的非语言标签控制部分表达声音，并使用中文拼音或英语音素覆盖指定发音。它可用于修正读音或表达特定非语言声音；该能力当前可用。
• 通过 JSONL 文件定义批量文本转语音任务，并将推理分配到多个 GPU。它面向需要成批生成语音的工作负载；该能力当前可用。
• 示例流程覆盖数据准备、训练、评估和微调，为需要进一步定制模型的团队提供参考路径；该能力当前可用。

限制与风险

• 声音设计仅使用中文和英文数据训练，不能据此推断其在其他语言上的设计效果与中英文相同。
• 声音设计在某些低资源语言或边缘场景中可能出现不稳定结果，应使用目标文本和属性指令进行测试。
• 当参考音频语言与目标语言不同时，克隆结果会携带参考音频语言的口音，需要在跨语言应用中重点验收。
• 推荐参考音频长度为 3 至 10 秒；更长的音频会减慢推理，并可能降低声音克隆质量。
• 在 Intel XPU 上无法使用 Flash Attention，模型会回退到 SDPA。
• 使用打包序列进行训练时，Intel XPU 仅获得部分支持，计划在该硬件上训练的团队需要先验证流程。
• 声音克隆可能被用于未经授权的冒充、欺诈、诈骗或其他违法、不道德活动；采用前需要建立授权、数据使用和输出管理规则。

如何开始

• PyTorch 需要根据所选硬件后端单独安装，之后再安装 omnivoice 软件包，因此首次配置需要先明确运行后端。
• 文档给出的首次成功路径是在安装 PyTorch 后执行 pip install omnivoice，再运行 omnivoice-demo --ip 0.0.0.0 --port 8001。
• 文档中的推理示例加载 k2-fsa/OmniVoice 预训练模型；权重可通过 Hugging Face 或文档所述的镜像端点下载，离线环境应提前准备。

核验依据

• GitHub 项目简介: High-Quality Voice Cloning TTS for 600+ Languages
• README: OmniVoice is a state-of-the-art massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architec…
• README: - **600+ Languages Supported**: The broadest language coverage among zero-shot TTS models ([full list](docs/languages.md)). - **Voice Cloning**: State-of-the-art voice cloning qua…
• README: **Step 1**: Install PyTorch
• README: pip install omnivoice

来源更新时间：2026-09-11T18:19:00Z

打开原始 GitHub 项目