qualcomm/GenieX

项目概览

geniex 支持直接在 Qualcomm Snapdragon Hexagon NPU 上执行大模型推理，为端侧部署提供了异构硬件调度能力。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

BSD-3-Clause

适合谁

• 需要在 Qualcomm Snapdragon 硬件上进行异构（NPU/GPU/CPU）本地模型推理的开发者。
• 希望复用现有 OpenAI 客户端代码进行端侧服务化部署的工程团队。

核心能力

• 在 Qualcomm Snapdragon 硬件上使用 Hexagon NPU、Adreno GPU 或 CPU 本地执行 LLM 与 VLM，为模型提供多硬件执行路径。
• 提供 CLI 以拉取模型，并支持通过单条命令运行推理，适合快速验证和命令行交互。
• 提供 Python 绑定，暴露类似 Hugging Face transformers 的接口（如 from_pretrained 和 generate 方法），方便 Python 开发者进行集成。
• 在本地提供兼容 OpenAI 接口的服务端，允许现有的 OpenAI 客户端在不修改代码的情况下连接本地模型。
• 提供 Android SDK，支持将模型执行集成到移动端应用程序中。
• 提供底层的单一 C 头文件，作为其他所有高层接口的基础，支持直接进行底层集成。

限制与风险

• geniex 仅能在 Qualcomm Snapdragon 平台上运行，不支持其他硬件体系。
• 该项目目前处于 Developer Preview 阶段，在正式生产环境中使用需评估相关风险。

如何开始

• 开发者可以通过 pip install 或预构建的安装程序进行安装，并在安装后通过单行命令拉取模型开始对话。

核验依据

• GitHub 项目简介: Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code
• README: GenieX is an **on-device Gen AI inference runtime for Qualcomm devices**.
• README: link against the single C header [`sdk/include/geniex.h`](sdk/include/geniex.h); every other interface is a thin wrapper over it.
• README: Bring almost any GGUF model from Hugging Face — or a pre-compiled bundle from [Qualcomm AI Hub](https://aihub.qualcomm.com/models/) — and run it locally on the **Hexagon NPU, Adre…
• README: []

内容核验时间：