livekit/agents

项目概览

将实时多模态语音智能体统一到一个服务器端 Python 框架中，并通过插件生态接入 OpenAI（含 Realtime API）、Deepgram、Cartesia 等主流模型服务，还支持以一行代码接入 MCP 服务器提供的工具。

项目类型

AI Agent · 语音音频

应用场景

知识问答 · 自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要用 Python 构建服务器端实时多模态语音智能体的开发者和 AI 工程师。
• 希望按需混搭不同 STT、LLM、TTS 与 Realtime API 服务商的团队。

核心能力

• 用于构建运行在服务器上的实时、可编程参与者，形成能看、能听、能理解的对话式多模态语音智能体。
• 通过插件生态混搭 STT、LLM、TTS 与 Realtime API，支持主流模型服务商的插件。
• 对 MCP 提供原生支持，可用一行代码接入 MCP 服务器提供的工具。

限制与风险

• console 模式仅限测试用途；dev/production 模式需要 LiveKit 服务器或 LiveKit Cloud，并提供相应凭据。
• 项目文档未说明 GPU 硬件需求，部署前需自行评估。
• 项目文档未说明使用相关模型服务与外部服务的成本情况，采用前需自行核实。
• 项目文档未说明遥测相关行为，如对此有要求需自行验证。

如何开始

• 先执行 pip install "livekit-agents[openai,deepgram,cartesia]" 安装框架与常用插件；再使用 Agent/AgentSession/AgentServer 编写智能体脚本；最后运行 python myagent.py console 在终端用本地麦克风进行本地测试。整体配置难度中等，主要在于需要编写 Python 智能体脚本并安装所需的服务商插件。

核验依据

• README: The Agent Framework is designed for building realtime, programmable participants that run on servers.
• README: Use it to create conversational, multi-modal voice agents that can see, hear, and understand.
• README: **Flexible integrations**: A comprehensive ecosystem to mix and match the right STT, LLM, TTS, and Realtime API to suit your use case.
• README: pip install "livekit-agents[openai,deepgram,cartesia]"
• README: You'll need the following environment variables for this example: - LIVEKIT_URL - LIVEKIT_API_KEY - LIVEKIT_API_SECRET

来源更新时间：2026-10-25T18:08:18Z

打开原始 GitHub 项目