tashfeenahmed/freellmapi

项目概览

该项目声称在单一端点后聚合约 7.4B 免费 token/月（跨 34 家供应商），并配备自动更新的签名模型目录、按速度/能力/可靠性评分的故障转移链，以及 AES-256-GCM 加密存储的密钥，这些能力针对手动堆叠免费额度的痛点提供了系统化方案。

项目类型

模型运行

应用场景

编程开发

部署方式

查看项目说明

License

MIT

适合谁

• 希望用多个免费层 LLM 供应商做个人实验、又不想手动管理各家 SDK 和速率限制的开发者。
• 想在树莓派等低配设备或本地轻量环境运行统一 LLM 端点的用户（无需 GPU、无需编码）。

核心能力

• 基于每个模型的实时速度、能力和可靠性评分对故障转移链排序；遇到 429/5xx 错误时自动重试链中的下一个模型，带冷却和密钥轮换，并按密钥跟踪速率使用情况。
• React 界面，可管理加密的供应商密钥、调整故障转移链顺序、使用 playground，并查看 p50/p95/TTFT 分析数据。

限制与风险

• 没有前沿模型，延迟不稳定，无 SLA；当排名靠前的模型在一天中耗尽每日额度后，整体智能水平会在晚些时候下降。
• 根据仓库描述，项目仅面向个人实验用途，不适用于生产环境。
• 运行需要用户提供密钥的上游免费层供应商 API，以及从 freellmapi.co 自动拉取的签名模型目录（免费月度快照，付费可获当日实时源）。
• 项目不捆绑本地模型，依赖上游供应商托管的免费层模型。

如何开始

• 据项目信息，设置难度为“容易”，无需编码即可使用；通过 Web 界面管理密钥，操作界面包含 Keys 页面用于添加供应商 API 密钥。

核验依据

• GitHub 项目简介: 7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic fa…
• README: The problem is that stacking them by hand is painful: thirty-four different SDKs, thirty-four different rate limits, thirty-four places a request can fail.
• README: FreeLLMAPI collapses that into one OpenAI-compatible endpoint. Point any OpenAI client library at your local server, and it routes transparently across whichever providers you've…
• README: **Every OpenAI-style surface** — `/v1/chat/completions`, `/v1/responses` (what Codex CLI needs), `/v1/completions` (editor ghost-text autocomplete), `/v1/images/generations`, `/v1…
• README: live per-model speed/capability/reliability scores rank your chain; automatic fallover retries the next model on 429/5xx with cooldowns and key rotation

来源更新时间：2026-10-19T18:47:51Z

打开原始 GitHub 项目