nari-labs/dia

项目概览

该项目支持在一次生成中通过文本标签直接产出包含笑声和咳嗽声等非语言声音的对话语音，这种特定能力值得在音频生成领域关注。

项目类型

模型运行 · 语音音频

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 研究语音克隆、对话语音生成及非语言声音控制的科研人员与教育工作者。
• 需要测试带有语调和情感控制的文本到语音生成流程的 AI 工程师。

核心能力

• 通过 [S1] 和 [S2] 标签来生成两人对话。
• 生成如 (laughs)（笑声）、(coughs)（咳嗽声）等非语言声音。
• 使用音频提示来克隆声音。
• 通过 Gradio 提供基于网页的用户界面。
• 通过命令行界面操作模型。
• 计划针对 ARM 架构和 MacOS 增加 Docker 支持。
• 计划增加量化功能以提升内存使用效率。

限制与风险

• 目前仅支持英文语音生成。
• 目前仅在 GPU 上进行了测试，CPU 支持计划即将添加。
• 由于未针对特定声音进行微调，除非固定音频提示或随机种子，否则每次运行的输出都会有所不同。
• 过短的输入（小于5秒）听起来不自然；过长的输入（大于20秒）会导致语速异常变快。
• 存在身份盗用、生成欺骗性内容以及非法或恶意使用的风险。

如何开始

• 部署难度中等，需要具备 Python 和 PyTorch 环境，且需要 GPU 用于推理。建议的首次成功路径为：克隆代码仓库，进入目录安装依赖（pip install -e .），随后运行 app.py 启动。首次运行时会下载 Descript Audio Codec (DAC) 模型。

核验依据

• GitHub 项目简介: A TTS model capable of generating ultra-realistic dialogue in one pass.
• README: Dia directly generates highly realistic dialogue from a transcript. You can condition the output on audio, enabling emotion and tone control. The model can also produce nonverbal…
• README: To accelerate research, we are providing access to pretrained model checkpoints and inference code. The model weights are hosted on Hugging Face.
• README: This project offers a high-fidelity speech generation model intended for research and educational use.
• README: Docker support for ARM architecture and MacOS.

内容核验时间：