cheaper-inference/OmniRoute vs jundot/omlx
基于当前公开核验快照比较 cheaper-inference/OmniRoute 与 jundot/omlx 的定位、License、部署方式、适用场景、限制和原始来源。
cheaper-inference/OmniRoute
omniroute 是一个本地运行的 OpenAI 兼容 AI 网关，将请求路由到 375 个提供商（其中 150+ 提供免费额度），并在配额耗尽或服务失败时自动切换到下一个可用的健康模型。它同时通过 RTK + Caveman 压缩堆叠自动节省 token。
- License
- MIT
- 部署
- 查看项目说明
- 适用场景
- 编程开发
- 更新时间
- 2026-10-21T18:07:07Z
jundot/omlx
omlx 是面向 Apple Silicon 的本地 LLM 推理服务，核心特征是分层 KV 缓存（热数据驻留 RAM、冷数据卸载至 SSD）在服务重启后仍可恢复，并通过 macOS 菜单栏应用和 Web 管理面板进行管理。兼容 OpenAI 与 Anthropic API 格式，支持并发批处理与多模型同服。
- License
- Apache-2.0
- 部署
- 查看项目说明
- 适用场景
- 聊天助手 · 编程开发
- 更新时间
- 2026-07-16T18:11:05Z
如何选择
先按必须满足的部署、License 和使用场景排除不合适选项，再打开各自详情核对限制与直接证据。