lucidrains/x-transformers

项目概览

x-transformers 是一个基于 PyTorch 的 Transformer 库，将来自多篇近期论文的实验性架构改进聚合在单一精简实现中。它支持完整的编码器/解码器、仅解码器和仅编码器架构，并提供视觉 Transformer 及自回归训练封装。

项目类型

模型开发 · 模型运行

部署方式

查看项目说明

License

MIT

适合谁

• 希望在一个精简的 PyTorch 库中快速尝试来自多篇论文的实验性 Transformer 架构改进的开发者和研究人员。

核心能力

• 支持完整的编码器/解码器、仅解码器以及仅编码器 Transformer 模型。
• 通过 ViTransformerWrapper 支持图像分类和图像描述生成模型。
• 提供可配置的实验性特性，包括 Flash Attention、GLU 前馈变体、记忆令牌和 RMSNorm。
• 提供用于训练和生成的封装器，包括 XLAutoregressiveWrapper、ContinuousAutoregressiveWrapper 和 XValAutoregressiveWrapper。

限制与风险

• 当需要对注意力矩阵进行操作（如动态位置偏置、talking heads、残差注意力）时，无法使用 Flash Attention。

如何开始

• 运行 $ pip install x-transformers 完成安装，随后在 Python 代码中从 x_transformers 导入 XTransformer 即可开始使用。

核验依据

• GitHub 项目简介: A concise but complete full-attention transformer with a set of promising experimental features from various papers
• README: $ pip install x-transformers
• README: A concise but fully-featured transformer, complete with a set of promising e**x**perimental features from various papers.
• README: model = XTransformer( dim = 512, enc_num_tokens = 256, enc_depth = 6, enc_heads = 8, enc_max_seq_len = 1024, dec_num_tokens = 256, dec_depth = 6, dec_heads = 8, dec_max_seq_len =…
• README: Decoder-only (GPT-like) ```python import torch from x_transformers import TransformerWrapper, Decoder model = TransformerWrapper( num_tokens = 20000, max_seq_len = 1024, attn_laye…

内容核验时间：