lyogavin/airllm

项目概览

在单张约4GB显存GPU上运行70B模型，无需量化、蒸馏或剪枝，为低端硬件运行超大模型提供了可行的技术路径。

项目类型

模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要突破显存瓶颈在本地运行全精度超大模型的 AI 工程师和研究人员。

核心能力

• 在推理过程中，仅在 GPU 上加载并计算模型的一层。这使得显存需求取决于模型单层的大小，而不是模型的总大小，是实现低显存运行大模型的核心机制。
• 自动检测模型类型并使用 AutoModel 进行初始化，用户不需要手动指定具体的模型类。
• 提供基于分块量化（4bit/8bit）的模型压缩功能，据项目描述可带来最高 3 倍的推理速度提升，且精度损失几乎可以忽略。
• 通过预取技术重叠模型加载和计算操作，据项目描述可实现 10% 的速度提升。
• 允许在 CPU 上运行推理，并支持非分片模型。

限制与风险

• 由于每次仅在 GPU 上保留一层，推理速度的瓶颈主要集中在磁盘加载上。
• 拆分模型的过程会消耗大量磁盘空间。
• 在 MacOS 上仅支持 Apple Silicon 芯片。

如何开始

• 具有一定门槛，需要 Python 编码能力和对 transformers 模型初始化的理解，同时需要足够的磁盘空间用于模型层拆分。成功路径包括：pip install airllm，初始化 AutoModel.from_pretrained('model_id')，调用 model.generate()。

核验依据

• README: First, install the airllm pip package. ```bash pip install airllm ```
• README: model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
• GitHub 项目简介: AirLLM 70B inference with single 4GB GPU
• README: AirLLM: scaling large language models on low-end commodity computers
• README: The trick: AirLLM only ever keeps **one layer on the GPU at a time**, so the VRAM you need depends on the model's layer size — not its total size.

内容核验时间：