mudler/LocalAI

项目概览

采用可组合核心架构，仅在模型需要时才按需拉取独立的 OCI 后端镜像，让用户只需安装实际使用的组件。

项目类型

MCP · AI Agent · 模型运行

应用场景

聊天助手 · 图片处理 · 语音音频 · 自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 需要在不依赖 GPU 的情况下、于自有基础设施中部署多模态模型的开发者和团队。
• 希望使用兼容主流云端 API 格式但将数据保留在本地的应用程序。

核心能力

• 在统一 API 后方运行大语言模型、视觉、语音、图像和视频模型。
• 在后端切换时提供与 OpenAI、Anthropic 和 ElevenLabs API 直接兼容的接口。
• 提供具备工具使用、检索增强生成(RAG)、技能和 SSE 流式传输能力的自主智能体。
• 包含一个用于操作应用程序的集成 WebUI。
• 通过 OCI 镜像动态安装和移除推理后端。
• 结合 PostgreSQL 和 NATS 提供水平扩展能力。

限制与风险

• 该项目提供的 macOS DMG 安装包未经 Apple 签名。
• macOS 用户在安装未签名的 DMG 后，可能需要手动移除该应用的隔离属性。

如何开始

• 项目文档提供了启动路径：首先运行文档中记载的 Docker 容器命令，接着使用 local-ai run 命令加载所需模型，最后通过 local-ai chat 命令启动交互式聊天。

替代方案与同类比较

• 提供自动检测模型架构、量化格式和聊天模板的运行功能，以及包含 Web 搜索和本地 Python 执行的代理运行时。
• 针对 Apple Silicon Mac 使用原生 MLX 内核运行模型，并提供交互式终端聊天和兼容 OpenAI 与 Anthropic 的 HTTP 服务端。

同类比较

• mudler/LocalAI vs 侧重自动化检测的本地推理引擎
• mudler/LocalAI vs 面向 Apple Silicon 的本地引擎

核验依据

• GitHub 项目简介: LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.
• README: - **Any model, any modality**: LLMs, vision, voice, image, and video behind one API
• README: - **Privacy-first**: your data never leaves your infrastructure
• README: - **Drop-in API compatibility**: OpenAI, Anthropic, and ElevenLabs APIs across every backend
• README: - [Built-in Agents](https://localai.io/features/agents/) — Autonomous AI agents with tool use, RAG, skills, SSE streaming, and [Agent Hub](https://agenthub.localai.io)

来源更新时间：2026-07-16T18:19:02Z

打开原始 GitHub 项目