FunAudioLLM/CosyVoice

项目概览

该项目凭借双流式传输实现 150 毫秒级别的低延迟推理，同时覆盖 18 种以上中文方言，在多语言和可控语音合成方面具有明确的差异化。

项目类型

模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备 Python 环境配置能力、需要多语言支持及零样本声音克隆能力的 AI 工程师与开发者。

核心能力

• 提供零样本语音合成，覆盖 9 种常用语言和 18 种以上的中文方言及口音。
• 支持多语言和跨语言的零样本声音克隆。
• 支持对中文拼音和英语 CMU 音素进行发音修正，以增强合成语音的可控性。
• 支持文本输入流式处理和音频输出流式处理，延迟可低至 150 毫秒。
• 支持通过各种指令进行控制，如语言、方言、情感、语速和音量。
• 为高级用户提供训练和推理脚本，便于进行模型的定制化开发。
• 无需传统的文本前端模块，即可支持数字、特殊符号和各种文本格式的阅读。

限制与风险

• vLLM 0.10.x 之间的版本未经测试，且低于 0.9.0 的版本不支持该项目推理。
• 项目提供的内容仅用于学术目的。

如何开始

• 通过克隆仓库（含子模块）、安装 Conda 环境并下载预训练模型，随后运行 example.py 或 webui.py 完成首次使用。

核验依据

• GitHub 项目简介: Multi-lingual large voice generation model, providing inference, training and deployment full-stack ability.
• README: **Fun-CosyVoice 3.0** is an advanced text-to-speech (TTS) system based on large language models (LLM), surpassing its predecessor (CosyVoice 2.0) in content consistency, speaker s…
• README: Language Coverage**: Covers 9 common languages (Chinese, English, Japanese, Korean, German, Spanish, French, Italian, Russian), 18+ Chinese dialects/accents (Guangdong, Minnan, Si…
• README: Pronunciation Inpainting**: Supports pronunciation inpainting of Chinese Pinyin and English CMU phonemes, providing more controllability and thus suitable for production use.
• README: Bi-Streaming**: Support both text-in streaming and audio-out streaming, and achieves latency as low as 150ms while maintaining high-quality audio output.

内容核验时间：