huggingface/speech-to-speech

项目概览

实现了 OpenAI Realtime 协议兼容并支持组件替换，使自托管语音助手能够直接对接现有兼容客户端。

项目类型

AI Agent · 模型运行 · 语音音频

应用场景

自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望在本地或私有云中构建低延迟端到端语音智能体的开发者和 AI 工程师
• 需要测试和对比不同 STT、LLM、TTS 模型组合在实时语音交互中表现的算法研究人员
• 正在寻找 OpenAI Realtime 协议替代方案的团队

核心能力

• 构建一个包含 VAD、STT、LLM 和 TTS 的端到端处理管道。这些组件在各自的独立线程中运行，用户可以通过 CLI 参数选择底层后端，从而平衡延迟与成本，实现语音对话响应。目前状态为可用。
• 在 /v1/realtime 路径下实现了一个 WebSocket 服务器，兼容 OpenAI Realtime 协议。它允许开发者使用兼容标准的 OpenAI 语音交互客户端连接到自托管的 speech-to-speech 管道。目前状态为可用。
• 直接利用机器自带的麦克风和扬声器与管道进行对话，无需编写或部署额外的客户端应用，适合本地开发与快速测试。目前状态为可用。
• 通过 WebSocket 直接传输原始音频字节流。这使得开发者可以构建轻量的自定义音频客户端，而无需实现完整的 Realtime 协议。目前状态为可用。
• 通过 TCP 套接字直接传输原始 PCM 音频，适用于需要简单的麦克风录音和音频播放逻辑的轻量级客户端架构。目前状态为可用。
• 支持自动语言检测和动态语言切换。该功能通过组合能够覆盖目标语言的 STT、LLM 和 TTS 后端实现，从而构建多语种交流的语音助手。目前状态为可用。
• 提供具备声音克隆功能的流式 TTS 能力。用户可通过 Pocket TTS 加载自定义声音文件，使语音智能体发出特定的目标音色。目前状态为可用。
• 在语音智能体的流式交互过程中，支持底层 LLM 进行文本流生成并执行工具调用，使得语音助手能够连接外部 API 或触发额外动作。目前状态为可用。

限制与风险

• TCP Socket 模式仅设计用于传输原始 PCM 音频流，无法提供完整 Realtime API 所具备的全部功能集。

如何开始

• 上手难度较低。通过 'pip install speech-to-speech' 安装后，直接运行 'speech-to-speech' 命令即可启动默认管道，验证效果。
• 在启动前需确保提供所需的后端模型，包括 LLM（可通过本地或 OpenAI 兼容 API）、STT（如 Whisper）、TTS 以及 Silero VAD v5 模型。GPU 虽然是可选的，但若选择本地运行大模型则建议配备。

核验依据

• GitHub 项目简介: Build local voice agents with open-source models
• README: A low-latency, fully modular voice-agent pipeline: **VAD -> STT -> LLM -> TTS**, exposed through an **OpenAI Realtime-compatible WebSocket API**. Every component is swappable.
• README: pip install speech-to-speech export OPENAI_API_KEY=... speech-to-speech
• README: The pipeline is a cascade of four components, each running in its own thread and connected by queues: 1. **Voice Activity Detection (VAD)**: [Silero VAD v5](https://github.com/sna…
• README: Requires Python 3.10+. ```bash pip install speech-to-speech ```

内容核验时间：