TEN-framework/ten-framework

项目概览

该框架的架构支持从涂鸦、实时语音助手到 SIP 电话集成和唇形同步虚拟人等多种用例，覆盖了实时多模态对话 AI 的核心构建需求，同时提供了 Docker Compose 本地运行方式和多平台部署选项。

项目类型

AI Agent · 视频技术 · 语音音频

应用场景

知识问答 · 自动化执行

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要在实时场景下集成多种模型和服务以构建对话式 AI 代理的开发者。
• 需要实时语音、转写、涂鸦、唇形同步虚拟人或 SIP 电话集成等功能的 AI 工程师。

核心能力

• 低延迟的实时助手，支持 RTC 和 WebSocket 连接，可扩展记忆、语音活动检测（VAD）及轮次检测功能。
• 将语音或文本提示转化为简单的手绘草图，提供蜡笔调色板和实时绘制功能。
• 实时检测并标注说话人，通过一个交互式游戏用例进行了演示。
• 与多家虚拟人供应商合作，包含使用 MotionSync 驱动唇形同步的动画角色，并支持写实风格虚拟人。
• SIP 扩展功能，支持由 TEN 驱动的电话呼叫。
• 将音频转写为文本的转写工具。

限制与风险

• 在 Apple Silicon 上，若在 Docker 设置中取消勾选用于 x86/amd64 模拟的 Rosetta，ARM 架构下的构建时间可能变慢。
• 核心功能需要多个付费 API 密钥（OpenAI、Deepgram、ElevenLabs），会产生使用成本。

如何开始

• 需安装 Docker / Docker Compose 和 Node.js，克隆仓库并创建 .env 文件。最低硬件要求为 CPU 不低于 2 核、RAM 不低于 4 GB。
• 需要在 .env 中设置 Agora App ID 及 App 证书（用于 RTC）、OpenAI API 密钥（用于语言模型）、Deepgram（用于语音转文本）和 ElevenLabs（用于文本转语音）的密钥。
• 运行 docker compose up -d 并通过 docker exec 进入容器，使用 task 命令构建代理，构建步骤约需 5-8 分钟。
• 构建完成后，在 localhost:3000 访问 Agent Examples UI。

核验依据

• GitHub 项目简介: Open-source framework for conversational voice AI agents
• README: TEN is an open-source framework for real-time multimodal conversational AI.
• README: Open-source framework for conversational AI Agents.
• README: This low-latency, high-quality real-time assistant supports both RTC and [WebSocket][websocket-example] connections, and you can extend it with [Memory][memory-example], [VAD][voi…
• README: A doodle board that turns spoken or typed prompts into simple hand-drawn sketches, complete with a crayon palette and real-time drawing.

内容核验时间：