open-mmlab/Amphion

项目概览

Amphion 是一个面向音频、音乐和语音生成研究与开发的开源工具包，支持 TTS、SVS、VC、AC、SVC、TTA 等多种生成任务，并提供声码器、客观评估、数据集预处理和模型可视化等配套功能。

项目类型

语音音频

应用场景

语音音频

部署方式

查看项目说明

License

MIT

适合谁

• 需要可复现研究环境的音频、音乐和语音生成领域的初级研究者和工程师。
• 希望了解经典模型内部处理机制的教育场景。

核心能力

• 支持 TTS、SVS、VC、AC、SVC 和 TTA 等独立生成任务。
• 支持多种声码器架构，包括基于 GAN、Flow、Diffusion 和自回归的声码器。
• 对生成的音频提供客观评估。
• 提供可视化工具，交互式地展示经典模型的内部处理机制。
• 使用潜在扩散模型支持 TTA（文本到音频）生成。
• 统一了对多个开源数据集的预处理流程，包括 AudioCaps、LibriTTS、LJSpeech、M4Singer、Opencpop、OpenSinger、SVCC、VCTK 等。

限制与风险

• 使用 Docker 时需要 NVIDIA 驱动、NVIDIA Container Toolkit 和 CUDA。

如何开始

• 中等难度：需要克隆仓库、创建 Python conda 环境并通过 shell 脚本安装依赖。首次成功路径为：git clone https://github.com/open-mmlab/Amphion.git，cd Amphion，conda create --name amphion python=3.9.15，conda activate amphion，sh env.sh。

核验依据

• GitHub 项目简介: Amphion (/æmˈfaɪən/) is a toolkit for Audio, Music, and Speech Generation. Its purpose is to support reproducible research and help junior researchers and engineers get started in…
• README: Amphion is designed to support individual generation tasks, including but not limited to, - **TTS**: Text to Speech (⛳ supported) - **SVS**: Singing Voice Synthesis (⛳ supported)…
• README: Amphion achieves state-of-the-art performance compared to existing open-source repositories on text-to-speech (TTS) systems.
• README: Amphion achieves state-of-the-art performance compared to existing open-source repositories on text-to-speech (TTS) systems. It supports the following models or architectures:
• README: Amphion supports the following voice conversion models:

内容核验时间：