cactus-compute/needle

项目概览

在小型消费设备上实现函数调用能力，兼顾 14MB 的体积与每秒 6000 token 的预填充速度，为个人设备上的本地推理与微调提供了可行的技术路径。

项目类型

模型开发 · 模型运行

应用场景

自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 需要在手机、可穿戴设备、智能家居设备等小型消费设备上部署函数调用功能的开发者。
• 希望在个人设备上对模型进行本地微调以适配自定义工具的 AI 工程师。

核心能力

• 基于注意力网络的单次函数调用模型，将文本查询映射为工具调用。
• 通过 Gemini 生成合成训练数据，用于微调模型。
• 提供 Web 界面，用于在自定义工具上测试和微调模型。

限制与风险

• 与较大的模型相比，该模型在对话场景中能力不足，缺乏多轮对话所需的容量。
• 小模型在训练和使用过程中可能出现不稳定的情况。
• 每个工具的训练样本少于 120 个时会导致过拟合，表现为训练指标完美但泛化能力差。

如何开始

• 快速入门包括三个步骤：克隆仓库（git clone https://github.com/cactus-compute/needle.git）、进入目录并执行设置（cd needle && source ./setup）、启动 Playground（needle playground）。

核验依据

• GitHub 项目简介: Foundation model for tiny devices; 14mb, 26m params, 1-6k toks/sec on mobiles, wearables smart home and robots.
• README: Needle is an experimental run for Simple Attention Networks, geared at redefining tiny AI for consumer devices (phones, watches, glasses...). So while it beats FunctionGemma-270m,…
• README: needle generate-data Synthesize training data via Gemini
• README: from needle import SimpleAttentionNetwork, load_checkpoint, generate, get_tokenizer
• README: ```bash git clone https://github.com/cactus-compute/needle.git cd needle && source ./setup needle playground ```

来源更新时间：2026-07-23T22:24:08Z

打开原始 GitHub 项目