QwenAudio/CosyVoice

项目概览

该模型在文本输入流式与音频输出流式场景中实现了低至 150ms 的延迟，并在多语言和中文方言覆盖方面具有可验证的广度，适合需要低延迟 TTS 的场景。

项目类型

模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要部署低延迟多语言 TTS 的开发者和 AI 工程师。
• 需要零样本跨语言语音克隆能力的研究者和开发者。
• 需要覆盖多种中文方言及 9 种常用语言语音合成的场景。

核心能力

• 支持跨多种语言和方言进行零样本语音克隆，无需传统前端模块。
• 覆盖 9 种常用语言（中文、英文、日文、韩文、德文、西班牙文、法文、意大利文、俄文）及 18 种以上中文方言/口音。
• 支持通过指令指定语言、方言、情绪、语速、音量等参数。
• 支持对中文拼音和英文 CMU 音素进行发音修复，以增强可控性。
• 支持文本输入流式与音频输出流式，延迟可低至 150ms。
• 无需传统前端模块即可处理数字、特殊符号及多种文本格式的朗读。
• 提供通过 Docker 部署 gRPC 和 FastAPI 服务器的脚本。
• 支持 vLLM 0.11.x+ 及 0.9.0 版本用于推理加速。

限制与风险

• 特定的 vLLM 版本有严格要求，在硬件不受支持时可能破坏现有环境，部署前需核对硬件兼容性。

如何开始

• 需要配置 Python 环境并手动管理依赖、配置 GPU、手动下载模型，并需在原生、Docker、vLLM 等多种部署平台间选择。
• 克隆仓库后，创建并激活 Conda 环境，安装系统依赖（sox、libsox-dev）和 Python 依赖，通过 ModelScope 或 HuggingFace SDK 下载预训练模型，运行 python example.py 或 python3 webui.py。

核验依据

• GitHub 项目简介: Multi-lingual large voice generation model, providing inference, training and deployment full-stack ability.
• GitHub 仓库资料: Python
• README: **Fun-CosyVoice 3.0** is an advanced text-to-speech (TTS) system based on large language models (LLM), surpassing its predecessor (CosyVoice 2.0) in content consistency, speaker s…
• README: - **Language Coverage**: Covers 9 common languages (Chinese, English, Japanese, Korean, German, Spanish, French, Italian, Russian), 18+ Chinese dialects/accents (Guangdong, Minnan…
• README: - [x] 2025/12 - [x] release Fun-CosyVoice3-0.5B-2512 base model, rl model and its training/inference script

内容核验时间：