coqui-ai/TTS

项目概览

项目提供了覆盖 1100 种以上语言的预训练模型以及声音克隆功能，适合需要高度自主定制 TTS 流程的开发场景。

项目类型

模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

MPL-2.0

适合谁

• 需要在本地环境运行并集成语音合成功能的开发者。
• 需要利用预训练模型在大量语言（超过1100种）中快速生成语音的团队。
• 有定制化需求并准备使用自有数据集训练或微调 TTS 模型的 AI 工程师或研究人员。

核心能力

• 使用预训练或自定义模型将文本合成为语音，支持超过 1100 种语言。
• 提供工具和 Trainer API，用于训练新的文本转语音模型以及对现有模型进行微调。
• 利用说话人嵌入或参考音频克隆声音，在使用 XTTS 和 Bark 等兼容模型时可实现不受限制的声音克隆。
• 将源音频文件中的语音转换为匹配目标声音的语音，该功能使用 FreeVC 等模型实现。
• 提供一个内置服务器，通过带有 Web 图形界面的 HTTP 接口运行文本转语音模型并合成语音。
• 在 'dataset_analysis' 模块下提供实用工具，用于整理文本转语音数据集。
• 包含 Tacotron、Glow-TTS、FastPitch 等多种文本到频谱图（Text2Spec）的模型。
• 包含 MelGAN、HiFiGAN、WaveRNN 等多种声码器模型，用于将频谱图转换为音频。

限制与风险

• 系统主要在 Ubuntu 18.04 上进行过测试；如果在 Windows 上使用，则需要参考手动设置说明进行配置。

如何开始

• 可通过 pip 从 PyPI 安装（pip install TTS），安装后使用命令行工具即可输出音频（如 tts --text "Text for TTS" --out_path output/path/speech.wav）。

核验依据

• GitHub 项目简介: 🐸💬 - a deep learning toolkit for Text-to-Speech, battle-tested in research and production
• README: 🐸TTS is a library for advanced Text-to-Speech generation.
• README: tts.tts_to_file(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")
• README: - High-performance Deep Learning models for Text2Speech tasks. - Text2Spec models (Tacotron, Tacotron2, Glow-TTS, SpeedySpeech). - Speaker Encoder to compute speaker embeddings ef…
• README: tts = TTS(model_name="tts_models/multilingual/multi-dataset/your_tts", progress_bar=False).to(device) tts.tts_to_file("This is voice cloning.", speaker_wav="my/cloning/audio.wav",…

内容核验时间：