FoundationVision/VAR

项目概览

var 获得了 NeurIPS 2024 Best Paper，是其研究成果获得外部学术认可的可验证理由。

项目类型

模型开发 · 模型运行 · 图像视觉

部署方式

查看项目说明

License

MIT

适合谁

• 适合关注图像生成中的视觉自回归建模、希望评估下一尺度预测路线及缩放规律的研究者。

核心能力

• 将图像自回归学习改为由粗到细地预测下一尺度，区别于标准的栅格扫描式下一 token 预测。对需要研究视觉自回归生成路径的用户，这提供了明确的方法实现方向。
• 提供使用 torchrun 的 Shell 脚本，可在不同规模上训练 ImageNet 的 VAR 模型。用户可据此进入模型训练流程。

限制与风险

• 使用所需 VQVAE 权重和 VAR 模型权重，且首次成功路径要求下载这些权重；这是一项明确的前置准备。
• 已提供的训练脚本说明是在 ImageNet 上训练不同规模的 VAR 模型；资料未说明其他数据集的训练流程。

如何开始

• 先安装 torch>=2.0.0 及 requirements.txt 中的依赖，再下载 VAR 模型权重和 VAE 权重；所需模型包括 vae_ch160v4096z32.pth 及 VAR-d16 至 VAR-d36 的预训练权重。

核验依据

• GitHub 项目简介: [NeurIPS 2024 Best Paper Award][GPT beats diffusion🔥] [scaling laws in visual generation📈] Official impl. of "Visual Autoregressive Modeling: Scalable Image Generation via Next-Sc…
• README: 🔥 For the first time, GPT-style autoregressive models surpass diffusion models🚀:
• README: Visual Autoregressive Modeling (VAR) redefines the autoregressive learning on images as coarse-to-fine "next-scale prediction" or "next-resolution prediction", diverging from the…
• README: 2024-12: 🏆 VAR received **NeurIPS 2024 Best Paper Award**.
• README: We provide VAR models for you to play with, which are on <a href='https://huggingface.co/FoundationVision/var'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Huggingface-Fo…

内容核验时间：