tashfeenahmed/freellmapi

项目概览

该项目通过堆叠 28 家提供商的免费额度聚合了每月约 40 亿 token 的可用量，并提供自动故障转移与 AES-256-GCM 加密密钥存储。

项目类型

MCP · 模型运行 · 基础设施

应用场景

聊天助手 · 编程开发

部署方式

查看项目说明

License

MIT

适合谁

• 希望在无需付费服务的前提下，通过聚合多家 LLM 提供商免费额度来获取大量 token 使用量的开发者。
• 需要通过 OpenAI 兼容 API 或 Anthropic 兼容格式，将多个 SDK 和工具接入同一路由器的开发场景。

核心能力

• 在同一路由器上提供 Anthropic 兼容的传输格式，供 Claude Code 和官方 SDK 使用。
• 跳过返回 429、5xx 或超时的提供商，并在回退链中的下一个模型上重试。
• 按可选策略对回退链排序，包括优先级、均衡、最智能、最快、可靠或自定义权重。
• 在存入 SQLite 之前，使用 AES-256-GCM 对 API 密钥进行加密。
• 作为 MCP 服务器运行，允许 Agent 在会话过程中内省可用的模型、提供商健康状况和路由策略。
• 提供适用于 macOS 和 Windows 的原生托盘应用，在本地运行路由器和仪表盘。
• 按平台、模型和密钥追踪 RPM、RPD、TPM 和 TPD 计数器，以保持在免费额度上限之下。
• 提供可选的精确匹配内存 LRU 缓存，用于相同的非流式请求。

限制与风险

• 不支持 GPT-5 或 Claude Opus 级别的前沿推理模型。
• 没有多租户认证，设计为单用户使用。
• 不支持每个请求返回多个补全（n > 1）。
• 随着高排名模型达到上限，端点在每日晚些时候的有效智能会下降。
• 由于依赖免费额度，不提供 SLA。
• 免费额度可能在不事先通知的情况下变更，导致 429 错误或认证错误。
• 延迟因可用提供商的不同而有很大差异。

如何开始

• 运行一行安装脚本启动 Docker，打开 http://localhost:3001，然后在仪表盘上添加提供商密钥。也可选择使用桌面安装程序。
• 项目提供 Web GUI、桌面 GUI、API 和 CLI 四种交互方式，遥测默认关闭。

核验依据

• GitHub 项目简介: OpenAI-compatible proxy that stacks the free tiers of 28 LLM providers (~4B tokens/month) behind one /v1 endpoint
• README: [](https://github.com/tashfeenahmed/freellmapi/pkgs/container/freellmapi)
• README: The problem is that stacking them by hand is painful: twenty-eight different SDKs, twenty-eight different rate limits, twenty-eight places a request can fail.
• README: OpenAI-compatible — `POST /v1/chat/completions` and `GET /v1/models` work with the official OpenAI SDKs and any OpenAI-compatible client (LangChain, LlamaIndex, Continue, Hermes,…
• README: A native menu-bar app lives in [`desktop/`](./desktop): the entire router + dashboard running locally from your tray, with a glass popover showing live request stats.

内容核验时间：