lucidrains/vit-pytorch

项目概览

vit-pytorch 提供 Vision Transformer 及多种相关架构的 PyTorch 实现，用于图像分类场景。该库将多种视觉 Transformer 变体与预训练任务集中在一个 Python 包中，便于研究者和开发者快速开展实验。

项目类型

模型运行 · 数据处理 · 图像视觉

部署方式

查看项目说明

License

MIT

适合谁

• 具备 PyTorch 编程能力、希望在图像分类场景中快速实验多种视觉 Transformer 架构的 AI 工程师和研究者
• 需要在一个包内同时获取架构实现与自监督预训练任务的开发者

核心能力

• 提供多种视觉 Transformer 架构实现，包括 ViT、SimpleViT、NaViT、DeepViT、CaiT 等。
• 提供从卷积网络向视觉 Transformer 蒸馏知识的支持。
• 包含使用 SimMIM、MAE、Masked Patch Prediction 和 Masked Position Prediction 等方法训练视觉 Transformer 的任务。
• 在部分特定变体中，通过对前向传播的修改提供对注意力图的访问。

限制与风险

• 该库不在包内提供预训练模型，用户需要前往其他仓库获取所需的预训练权重。

如何开始

• 运行 pip install vit-pytorch 完成安装，然后在 Python 脚本中导入 ViT，实例化模型并传入图像张量即可开始使用。

核验依据

• GitHub 项目简介: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorch
• README: $ pip install vit-pytorch
• README: import torch from vit_pytorch import ViT
• README: You can use it by importing the `SimpleViT` as shown below
• README: You can use this scheme as follows

内容核验时间：