multimodal-art-projection/YuE

项目概览

可从歌词生成歌曲，并明确区分当前可用能力与 stemgen、vLLM、sgLang 等计划项。

项目类型

语音音频

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 有歌词到歌曲需求，并能配置来源所述模型、GPU 与命令行环境的创作者或研究者。
• 希望实测不同语言、曲风或 LoRA 微调路线，愿意检查生成音频及权利风险的使用者。

核心能力

• 从歌词生成持续数分钟、包含人声与伴奏的歌曲。
• 来源记录可建模多种曲风、语言及演唱技法；实际输出需要针对输入试听。
• 来源记录已支持 LoRA 微调，实验需按相应路线配置。
• stemgen 模式列在计划中，不能当作当前已经可用。
• vLLM 与 sgLang 支持列在计划中，不能据此假定已提供这些部署后端。

限制与风险

• 长序列生成需要较多 GPU 显存。24GB 或更少显存的配置建议最多运行两段；这不是通用的“至少 24GB”硬门槛。四段或更多的完整歌曲路线推荐至少 80GB 显存配置。
• 来源指出 [intro] 标签较不稳定，并建议以 [verse] 或 [chorus] 开始。
• 创作者需要确保基于生成结果的作品不会抄袭或违法复现已有材料。生成成功本身不构成权利清除或原创性证明。

如何开始

• 第一步是安装运行环境和依赖。来源指出需正确安装 Flash Attention 2 并匹配 CUDA 版本；先按具体环境检查依赖是否可用。
• 第二步是下载推理代码和 tokenizer，准备对应模型权重。记录的两阶段示例使用 YuE-s1-7B-anneal-en-cot 和 YuE-s2-1B-general。
• 第三步运行推理。用适合显存的生成段数完成小范围试验，试听人声、伴奏和歌曲结构，并核对来源所述提示与版权限制。

核验依据

• README: YuE is a groundbreaking series of open-source foundation models designed for music generation, specifically for transforming lyrics into full songs (lyrics2song). It can generate…
• README: YuE-s1-7B-anneal-en-cot 🤗
• README: Now YuE supports LoRA finetune.
• README: We now support dual-track ICL mode! You can prompt the model with a reference song, and it will generate a new song in a similar style (voice cloning demo by @abrakjamson, music s…
• README: Now YuE supports music continuation and Google Colab!

来源更新时间：2026-07-26T18:11:14Z

打开原始 GitHub 项目