lemonade-sdk/lemonade

项目概览

可验证的关注点是：lemonade 已同时提供标准接口兼容的本地服务与可嵌入、自动优化的多模态本地人工智能二进制组件。

项目类型

模型运行 · 图像视觉

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望优先在本机运行模型，同时通过标准接口接入现有应用的开发者和人工智能工程师。
• 需要将便携、自动优化的多模态本地人工智能栈嵌入自有产品的应用团队。
• 需要通过命令行管理模型、检查本机推理后端，并自行掌控本地部署过程的技术用户。

核心能力

• 该能力已可用，可在用户本机的神经处理器或图形处理器上服务聊天、编程、语音和图像生成模型。它把不同任务统一到本地运行环境中，帮助用户减少对云端推理接口的依赖。
• 该能力已可用，安装后的服务可通过标准的 OpenAI、Anthropic 和 Ollama 接口接受应用连接。其价值在于复用既有客户端与调用方式，降低把应用切换到本地模型服务的改造成本。
• 该能力已可用，用户可通过命令行或内置模型管理器下载模型，也可从已记录的模型来源使用自定义 GGUF 和 ONNX 模型。它将模型获取与本地服务衔接起来，减少手工整理模型文件的工作。
• 该能力已可用，命令行可列出和下载模型，并检查当前电脑可用的推理后端。用户可以在接入应用前先确认模型与后端状况，使本地部署和故障定位更直接。
• 该能力已可用，以便携二进制组件提供自动优化、多模态的本地人工智能栈，并可打包进其他应用。它适合需要把本地推理作为产品内置能力交付，而不是仅运行独立服务的团队。
• 该能力处于实验状态，可在使用本地模型的同时，把请求路由到兼容 OpenAI 接口的云端提供商。它为本地算力不足或需要外部模型的场景提供混合路径，但不应按生产就绪能力进行选型。

限制与风险

• 每种推理引擎都有自己的后端和硬件要求，不能仅凭项目支持神经处理器或图形处理器就推断任意模型都能在任意设备上运行。选型时需要按目标模型和推理引擎逐项验证。
• 核心推理可以在本机完成，但用户请求模型下载或注册表查询时，可能访问 Hugging Face Hub 或 ModelScope；严格隔离环境需要为模型准备和导入单独设计流程。
• 连接兼容 OpenAI 接口的云端提供商并与本地模型组合使用目前是实验能力，生产选型不应假定其稳定性等同于已可用的本地服务能力。

如何开始

• 使用命令行检查当前电脑可用的推理后端，并对照所选推理引擎的硬件要求，避免在下载模型和接入应用后才发现后端不匹配。
• 通过命令行或内置模型管理器下载所需模型；如使用自定义模型，可选择已记录来源中的 GGUF 或 ONNX 模型，并提前确认模型查询或下载是否允许访问外部模型源。
• 需要快速复用现有客户端时，可连接兼容 OpenAI、Anthropic 或 Ollama 接口的本地服务；需要随产品交付时，则评估可嵌入二进制组件。

核验依据

• README: - Built with C++ (server) and React (app) with ❤️ for the open source community,
• README: Lemonade is the local AI server that gives you the same capabilities as cloud APIs, except 100% free and private. Use the latest models for chat, coding, speech, and image generat…
• README: * **Lemonade Server** installs a service you can connect to hundreds of great apps using standard OpenAI, Anthropic, and Ollama APIs.
• README: Use `lemonade pull` or the built-in **Model Manager** to download models. Custom GGUF/ONNX models can be pulled from Hugging Face or ModelScope, with their source retained for fut…
• README: To see available models and download them: ``` lemonade list lemonade pull Gemma-4-E2B-it-GGUF ``` To see the backends available on your PC: ``` lemonade backends ```

来源更新时间：2026-07-15T18:26:29Z

打开原始 GitHub 项目