Tiiny-AI/PowerInfer

项目概览

tiiny-ai/powerinfer 在单张消费级 GPU 上利用激活稀疏性优化 CPU/GPU 混合利用率，提供大语言模型推理加速。它仅支持 ReLU/ReGLU/Squared ReLU 激活函数的模型。

项目类型

模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 希望在单张消费级 GPU 上运行 ReLU/ReGLU/Squared ReLU 激活函数模型的开发者和 AI 工程师。

核心能力

• 利用激活局部性，将热点神经元保留在 GPU 上计算，冷神经元在 CPU 上计算。
• 提供与 llama.cpp 模型权重及 server、batched generation 等示例的向后兼容。
• 提供对 INT4（Q4_0）模型的量化支持。
• 允许用户在推理过程中限制 GPU 的显存使用量。
• 用于 macOS 上稀疏推理的 Metal 后端（计划中）。
• 支持跨多张 GPU 运行推理（计划中）。
• 计划提供与第三方项目 text-generation-webui 的集成。
• 支持通过 ROCm 在 AMD 设备上运行。

限制与风险

• 仅支持使用 ReLU/ReGLU/Squared ReLU 激活函数的模型。
• 在仅使用 CPU 的 macOS（Apple M 芯片）上，性能提升不明显。
• 部分微调 ReLU 模型（如 70B 模型）由于重训练 token 不足，可能出现明显的性能下降。
• 用户可能遇到 CUDA_ERROR_OUT_OF_MEMORY 错误。

如何开始

• 安装难度较高：需要使用 CMake 从源码编译、手动下载大模型权重文件，并需要通过命令行执行操作。首次运行路径为：安装 CMake 和 Python 依赖 → 克隆仓库并安装依赖 → 使用 CMake 为 GPU 或 CPU 编译 → 使用模型路径和提示词运行 ./build/bin/main。

核验依据

• GitHub 项目简介: High-speed Large Language Model Serving for Local Deployment
• README: [2024/5/17] We now provide support for AMD devices with ROCm.
• README: PowerInfer exploits such an insight to design a GPU-CPU hybrid inference engine: hot-activated neurons are preloaded onto the GPU for fast access, while cold-activated neurons are…
• README: Using `CMake`(3.17+): * If you have an NVIDIA GPU: ```bash cmake -S . -B build -DLLAMA_CUBLAS=ON cmake --build build --config Release ```
• README: Local Deployment Ease: Designed and deeply optimized for local deployment on consumer-grade hardware, enabling low-latency LLM inference and serving on a single GPU.

内容核验时间：