ashawkey/stable-dreamfusion

项目概览

作为 DreamFusion 的早期开源实现，该项目验证了利用 2D 扩散模型先验进行文本到 3D 生成的可行性，是跟踪 3D AIGC 技术发展的重要参考。

项目类型

模型运行 · 图像视觉

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备一定代码编译能力和 GPU 资源，需要利用本项目提供的文本或图像转 3D 生成能力的开发与研究人员。

核心能力

• 利用 DreamFusion 算法并结合 Stable Diffusion 的先验知识，将用户输入的自然语言文本提示直接优化并转化为 3D 模型。
• 以输入图像作为参考，借助 Zero-1-to-3 扩散模型后端推断多视角信息，进而重建出完整的 3D 模型。
• 支持将生成的 NeRF 模型转换为标准的 3D 网格格式，导出包含 obj 几何体、mtl 材质和 png 纹理的文件。
• 提供桌面端图形用户界面，支持自由视角的控制，方便用户实时查看、检视和调试生成的 3D 模型细节。
• 允许用户指定不希望出现的元素（负向提示词），以此约束和微调 3D 生成的方向，提升结果质量与准确度。
• 在进行图像到 3D 的生成过程中，集成单目深度估计技术来辅助理解和重建图像中的空间几何结构。

限制与风险

• 该项目仍在开发中，内部实现可能与原论文存在大量差异，稳定性无法保障。
• 目前的实际生成质量无法与原论文展示的结果完全匹配，许多提示词仍然会生成失败的结果。
• 由于依赖 OpenGL 进行渲染，在某些环境中安装不当会导致出现 eglInitialize() 失败的报错。

如何开始

• 配置难度较高，需要手动克隆仓库、安装依赖、构建 CUDA 扩展，并必须提前手动下载所需的多个预训练模型权重。最快成功路径为 `git clone` 后执行 `pip install -r requirements.txt`，再运行 `python main.py --text "a hamburger" --workspace trial -O`。

核验依据

• README: A pytorch implementation of the text-to-3D model **Dreamfusion**, powered by the [Stable Diffusion](https://github.com/CompVis/stable-diffusion) text-to-2D model.
• README: This project is a **work-in-progress**, and contains lots of differences from the paper. **The current generation quality cannot match the results from the original paper, and man…
• README: python main.py --text "a hamburger" --workspace trial -O
• GitHub 项目简介: Text-to-3D & Image-to-3D & Mesh Exportation with NeRF + Diffusion.
• README: To use image-conditioned 3D generation, you need to download some pretrained checkpoints manually: * [Zero-1-to-3](https://github.com/cvlab-columbia/zero123) for diffusion backend.

内容核验时间：