BerriAI/litellm

项目概览

覆盖 100 多种 LLM 提供商，提供统一的 OpenAI 格式接口和虚拟密钥管理。

项目类型

MCP · 模型运行 · 基础设施

部署方式

Python 环境

License

License 待确认

适合谁

• 需要通过统一接口管理和调用多种大语言模型提供商、并追踪多租户调用成本的企业团队和开发者。

核心能力

• 提供统一的接口，可通过 Python SDK 或代理服务器，以 OpenAI 格式调用 100 多种 LLM 提供商（如 OpenAI、Anthropic、Gemini、Bedrock、Azure 等）。
• 提供中心化的 API 网关认证、用于安全访问控制的虚拟密钥、多租户成本追踪，以及用于监控和管理的管理面板 UI。
• 提供生产级网关特性，支持在多个部署之间进行负载均衡、自动路由，以及带有重试/回退逻辑的容错处理。
• 为 LLM 调用提供适用于生产环境的护栏、缓存、日志记录和可观测性回调（支持 Lunary、MLflow、Langfuse）。
• 允许通过 Python SDK 或代理服务器调用 A2A（Agent-to-Agent）代理程序。
• 允许通过 Python SDK 或代理服务器将 MCP (Model Context Protocol) 服务器连接到任何 LLM，并以 OpenAI 格式暴露 MCP 工具。

限制与风险

• GCP Cloud Run 无法直接从 ghcr.io 拉取镜像，需要一次性设置 Artifact Registry 远程代码库。

如何开始

• 难度较低。支持通过单条命令进行安装（如 'uv add litellm' 或 'uv tool install'），安装后可直接导入库使用或运行代理服务器。
• 支持以 API、Python 库以及 Web GUI（管理仪表板）三种方式进行交互和管理。

核验依据

• GitHub 项目简介: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, Verte…
• README: Open Source AI Gateway for 100+ LLMs. Self-hosted. Enterprise-ready. Call any LLM in OpenAI format.
• README: LiteLLM is an open source AI Gateway that gives you a single, unified interface to call 100+ LLM providers — OpenAI, Anthropic, Gemini, Bedrock, Azure, and more — using the OpenAI…
• README: Managing LLM calls across providers gets complicated fast — different SDKs, auth patterns, request formats, and error types for every model. LiteLLM removes that friction:
• README: **Production-ready gateway** — virtual keys, spend tracking, guardrails, load balancing, and an admin dashboard out of the box - **8ms P95 latency** at 1k RPS ([benchmarks](https:…

内容核验时间：