78/xiaozhi-esp32

项目概览

xiaozhi-esp32 将 MCP（Model Context Protocol）协议同时引入设备端外设控制与云端能力扩展，在 ESP32 这一低成本硬件上实现了大模型语音交互与物理世界控制的结合。该项目支持 ESP32 全系列主流芯片，且提供免搭建开发环境的固件烧录方式，降低了 AI 硬件原型的验证门槛。

项目类型

MCP · AI Agent

应用场景

自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 希望在 ESP32 硬件上实践 AI 大模型与物理世界交互的开发者与创客。
• 需要通过 MCP 协议同时打通设备端外设控制与云端外部服务能力的硬件原型设计者。

核心能力

• 提供离线语音唤醒、ASR+LLM+TTS 流水线以及实时端到端语音模型。该能力允许设备接收语音音频输入并输出语音音频，完成基于大语言模型的对话交互。
• 通过 MCP 协议控制设备外设，包括扬声器、LED、舵机和 GPIO。大模型可通过该机制输出对外部硬件的控制指令。
• 通过云端 MCP 将大模型能力扩展至更广泛的场景，支持智能家居控制、PC 桌面操作、知识搜索和邮件等应用。
• 支持 Wi-Fi、有线以太网、USB RNDIS 以及 4G 网络（通过 ML307/EC801E 或 NT26 Cat.1 模组），为设备通信提供多种物理层选择。
• 利用 3D Speaker 技术识别当前说话人的身份，提供基于声纹的个性化交互基础。
• 支持在 OLED/LCD 屏幕上显示 Emoji 表情，并支持在具备摄像头的开发板上接收视觉图像输入。
• 提供电池电量显示与设备电源管理功能，支持移动或无外接电源场景下的基础续航维护。
• 允许用户通过基于 Web 的编辑器自定义唤醒词、字体、Emoji 表情和聊天背景。

限制与风险

• ESP-IDF v5.5 仅保留用于旧有硬件路径，新开发路径需转向更新的版本框架，这可能会对依赖旧版工具链的开发者造成迁移阻碍。

如何开始

• 初学者可通过选择受支持的 ESP32 开发板，遵循新手固件烧录指南将固件刷入设备，连接 Wi-Fi，并在 xiaozhi.me 注册个人账号免费使用。整体搭建难度中等。
• 对于需要修改源码或进行资产定制的用户，需要基于 ESP-IDF（如 v6.0.2）构建环境从源码进行配置与编译，这要求具备可选的编码能力。

核验依据

• GitHub 项目简介: An MCP-based chatbot | 一个基于MCP的聊天机器人
• README: As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabilities of large models like Qwen / DeepSeek, and achieves multi-terminal control via the MCP protocol.
• README: This is an open-source ESP32 project, released under the MIT license
• README: Wi-Fi, wired Ethernet, USB RNDIS, and ML307/EC801E or NT26 Cat.1 4G networking; supported boards can switch between Wi-Fi and 4G
• README: For beginners, it is recommended to use the firmware that can be flashed without setting up a development environment.

内容核验时间：