jundot/omlx

项目概览

支持将 KV 缓存冷数据以 safetensors 格式持久化到 SSD 并在匹配前缀时恢复，覆盖服务重启场景。

项目类型

MCP · 模型运行

应用场景

聊天助手 · 编程开发

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 拥有 Apple Silicon Mac 并希望在本地管理多个大模型且保留上下文缓存的开发者和高级用户。
• 需要在不编写代码的情况下，通过图形界面启停服务并调整每模型参数的非技术背景用户。

核心能力

• 基于块的 KV 缓存管理带有前缀共享和写时复制（Copy-on-Write）功能。它将冷块以 safetensors 格式卸载到 SSD，并在匹配前缀时恢复它们，即使服务重启后也是如此。
• 通过 mlx-lm 的 BatchGenerator 处理并发请求，具有可配置的最大并发限制。
• 同时服务 LLM、VLM、嵌入模型和重排模型，带有 LRU 淘汰、手动加载/卸载、模型固定、每模型 TTL 以及总进程内存强制限制。
• 原生 Swift / SwiftUI 菜单栏应用，无需打开终端即可启动、停止和监控服务，具有持久化统计数据和崩溃时自动重启功能。
• 位于 /admin 的 Web UI，用于实时监控、模型管理、聊天、基准测试和每模型设置，支持多语言且 CDN 依赖项离线可用。
• 作为 OpenAI 和 Anthropic API 的直接替代，支持聊天补全、文本补全、嵌入、重排、Messages API、流式传输和视觉输入。
• 运行具有多图像聊天、base64/URL/文件输入和工具调用的 VLM。自动检测并优化 DeepSeek-OCR、DOTS-OCR、GLM-OCR 等 OCR 模型。
• 通过管理仪表板直接从 HuggingFace 搜索并下载 MLX 模型。

限制与风险

• 要求硬件必须为 Apple Silicon（M1/M2/M3/M4），系统版本需为 macOS 15.0+，且运行环境要求 Python 3.11–3.13。
• 若需编译构建原生自定义内核以加速特定模型推理，要求安装完整版 Xcode。
• 如果不使用自定义内核而采用普通的 pip 安装方式，GLM-5.2 模型会触发约 30 倍速度差距的慢速回退路径。

如何开始

• 难度较低。通过命令行执行 brew install omlx，随后运行 omlx start，打开浏览器访问 http://localhost:8000/admin/chat 即可开始使用。

核验依据

• GitHub 项目简介: LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
• README: making local LLMs practical for real coding work with tools like Claude Code.
• README: Continuous batching and tiered KV caching, managed directly from your menu bar.
• README: Cold tier (SSD): When the hot cache fills up, blocks are offloaded to SSD in safetensors format. On the next request with a matching prefix, they're restored from disk instead of…
• README: Handles concurrent requests through mlx-lm's BatchGenerator. Max concurrent requests is configurable via CLI or admin panel.

内容核验时间：