livekit/agents

项目概览

该框架基于 WebRTC 构建并支持主流平台客户端，同时使用 transformer 模型进行语义轮次检测以减少打断，覆盖了多模态语音代理创建、电话接入和 MCP 工具集成等能力。

项目类型

MCP · AI Agent · 语音音频

应用场景

知识问答 · 自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要使用 Python 框架编写代码来构建实时多模态语音代理的开发者

核心能力

• 创建作为服务器端实时可编程参与者运行的对话式多模态语音代理，能看、能听、能理解。
• 提供生态来组合适配场景的 STT、LLM、TTS 和 Realtime API。
• 提供内置的任务调度与分发功能，并通过 dispatch API 将终端用户连接到代理。
• 允许代理通过 LiveKit 的电话栈向手机拨打电话或接听来自手机的呼叫。
• 使用 transformer 模型检测用户何时结束发言，帮助减少打断。
• 支持 MCP，可通过一行代码集成 MCP 服务器提供的工具。
• 可编写测试并使用评判器来确认代理是否按预期运行。
• 支持多个代理之间互相交接任务。

限制与风险

• 该框架在一个快速演进的领域中处于活跃开发阶段。
• 由于在一个快速演进的领域中进行活跃开发，API 可能会频繁变更。

如何开始

• 难度为中等，需安装 Python 包并配置外部凭证和环境变量，并使用 Python 框架编写代理代码。快速成功路径为：pip install livekit-agents[openai,deepgram,cartesia]，设置 LIVEKIT_URL、LIVEKIT_API_KEY、LIVEKIT_API_SECRET 环境变量，用 Python 编写代理代码，然后用 python myagent.py start 运行代理。

核验依据

• GitHub 项目简介: A framework for building realtime voice AI agents 🤖🎙️📹
• README: The Agent Framework is designed for building realtime, programmable participants that run on servers. Use it to create conversational, multi-modal voice agents that can see, hear,…
• README: - **Extensive WebRTC clients**: Build client applications using LiveKit's open-source SDK ecosystem, supporting all major platforms.
• README: - **Integrated job scheduling**: Built-in task scheduling and distribution with [dispatch APIs](https://docs.livekit.io/agents/build/dispatch/) to connect end users to agents.
• README: - **Telephony integration**: Works seamlessly with LiveKit's [telephony stack](https://docs.livekit.io/sip/), allowing your agent to make calls to or receive calls from phones.

内容核验时间：