NVlabs/Sana

项目概览

该项目通过 4-bit 量化将部署硬件门槛降至笔记本 GPU 8GB 显存以下，并在 H100 上通过蒸馏实现 1024px 图像 0.1 秒生成。

项目类型

模型开发 · 模型运行 · 图像视觉 · 视频技术

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备一定编码能力、希望在普通消费级笔记本设备（GPU显存<8GB）上研究和部署高分辨率图像与视频生成任务的 AI 工程师和研究员。

核心能力

• 通过 sCM 蒸馏技术实现单步或少步生成，项目数据表明该能力在 H100 硬件上可在 0.1 秒内生成一张 1024 像素的图像。
• 提供针对 720p 分辨率、分钟级时长视频的流媒体视频到视频的实时编辑能力。
• 提供 NVFP4 Rollout 和 BF16 Training RL 的强化学习后训练方法，项目数据指出该机制实现了 4.64 倍的收敛速度提升。

限制与风险

• 尽管项目支持低显存量化运行，但如果不使用量化而追求项目展示的全部性能（例如在 H100 上实现 0.1 秒生成），仍需依赖算力强大的专业级 GPU 资源。

如何开始

• 项目上手难度为中等。用户需从仓库克隆代码，运行指定的 environment_setup.sh 环境配置脚本及 Python 依赖。完成配置后，可使用 SanaPipeline.from_pretrained 方法调用预训练模型生成图像。

核验依据

• README: **SANA** is an efficiency-oriented codebase for high-resolution image and video generation, providing complete training and inference pipelines.
• README: Deployable on laptop GPUs with **< 8GB VRAM** via 4-bit quantization.
• README: We introduce **SANA**, a series of efficient diffusion models for high-resolution image and video generation:
• README: git clone https://github.com/NVlabs/Sana.git cd Sana && ./environment_setup.sh sana
• README: - [✅] Training code - [✅] Inference code - [✅] Model zoo

内容核验时间：