lucidrains/vit-pytorch

项目概览

该库在一个 pip 包中提供大量 ViT 研究变体实现(如 SimpleViT、NaViT),并有可运行的预训练封装,适合需要快速复现或实验这些架构的研究与工程用户。

项目类型

图像视觉

部署方式

查看项目说明

License

MIT

适合谁

• 需要在 PyTorch 中使用或实验 Vision Transformer 及其研究变体的 AI 工程师和研究人员。
• 需要通过 SimMIM、MAE 等掩码图像建模方式预训练 ViT 的用户。

核心能力

• PyTorch 实现的 Vision Transformer,用于图像分类,图像尺寸、patch 尺寸、深度、注意力头数等参数可配置。
• 包含 SimpleViT、NaViT 等后续变体,其中 NaViT 可在一个批次中处理多种图像分辨率。
• 提供 SimMIM、MAE 等掩码图像建模预训练的封装,返回可用于训练 ViT 的损失值。

如何开始

• 安装难度低:执行 pip install vit-pytorch,导入 ViT 后对图像张量执行一次前向计算即可验证成功。

核验依据

• GitHub 项目简介: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorch
• README: For a Pytorch implementation with pretrained models, please see Ross Wightman's repository
• README: from vit_pytorch import ViT
• README: $ pip install vit-pytorch
• README: from vit_pytorch.na_vit import NaViT

来源更新时间：2026-10-14T18:41:55Z

打开原始 GitHub 项目