项目核验档案

cactus-compute/cactus

cactus 是一个面向移动与可穿戴设备的混合边缘云 AI 引擎，通过自定义量化技术支持在本地运行低延迟推理，并提供与 OpenAI 兼容的文本、语音和视觉 API。

项目概览

其基于旋转与码本的自定义量化技术支持将所有权重张量压缩至 4-bit 到 1-bit，适应移动端设备的内存限制条件。

项目类型: 模型运行
应用场景: 聊天助手 · 自动化执行
部署方式: 查看项目说明
License: Apache-2.0

适合谁

需要在移动或可穿戴设备上以低延迟运行大语言模型，且对模型内存占用有较高要求的移动端开发者。
熟悉 OpenAI API 格式，希望将现有的基于云端的文本、语音或视觉 AI 应用迁移到本地设备以保护隐私的开发者。

核心能力

提供基于 C++ 的张量操作实现，涵盖矩阵乘法、注意力机制、归一化和激活函数，通过零拷贝设计减少推理过程中的内存搬运。
支持对所有权重张量应用从 4-bit 到 1-bit 的自定义量化技术，通过压缩模型体积来适应移动设备的资源限制，是其在移动端运行的核心特性。
能够将任意 PyTorch 模型转换为 cactus 运行时计算图，方便开发者将自研或第三方模型部署到设备端进行推理。
提供一个基于终端 UI 或纯命令行输出的 AI 编程代理，可以连接到本地 cactus 服务器，辅助开发者在终端环境中进行代码编写与调试。
支持使用音频模型进行实时的麦克风语音输入转录，为端侧语音交互提供了基础能力。

限制与风险

虽然已在包括 iPhone 15 Pro 在内的设备上完成测试，但未明确记录 GPU 需求及最低硬件基线，老旧或低配设备的运行表现存在不确定性。
目前最简易的安装途径仅限 Mac 的 Homebrew，其他操作系统必须通过克隆源码手动配置环境，对非 Mac 用户不够友好。

如何开始

在 Mac 环境下，开发者可以通过 Homebrew (brew install cactus-compute/cactus/cactus) 直接安装，并运行 cactus run 命令启动服务。
对于非 Mac 平台，安装难度属于中等，需要开发者手动克隆仓库并自行配置运行环境后才能启动。

替代方案与同类比较

专注于提供在设备上运行的 LLM、视觉和语音 SDK，支持 iOS、Android 和 Web，适合需要本地运行且不依赖云端的场景。
一个快速灵活的 LLM 推理引擎，支持多模态推理并提供与 OpenAI/Anthropic 兼容的 API，且具备内置的 Agent 运行时和自动模型加载特性。
提供一种在本地运行和管理大型语言模型的简便方法，支持通过 CLI 或 REST API 运行模型。

同类比较

核验依据

GitHub 项目简介: Low-latency AI engine for mobile devices & wearables
README: OpenAI-compatible APIs for text, speech, and vision.
Release: v2.0.1
README: - Step 1: `brew install cactus-compute/cactus/cactus` - Step 2: `cactus run`
README: | iPhone 15 Pro | 511tps / 25tps | 1.16s / 27tps | 1.40s | 635MB |

来源更新时间：2026-07-15T18:09:03Z

打开原始 GitHub 项目

项目详情

0