bytedance/UI-TARS-desktop

项目概览

采用混合浏览器控制策略（GUI Agent、DOM 或混合模式）以及协议驱动的 Event Stream，在视觉认知与多工具协同方面具有明确的技术特征。

项目类型

MCP · AI Agent · AI 工作流

应用场景

自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在桌面或浏览器环境中实现自然语言驱动自动化的开发者及用户。
• 寻求将截图和视觉识别能力集成到计算机控制流程中的场景。

核心能力

• 使用 GUI Agent、DOM 或混合策略来控制浏览器。
• 一个基于 UI-TARS 模型提供原生计算机控制的桌面应用程序。
• 用于在有头或无头服务器模式下执行智能体工作流的 CLI 工具。
• 提供一个基于 Web 的图形用户界面，用于与智能体进行交互。
• 利用视觉语言模型识别屏幕内容，支持基于自然语言的控制。
• 构建于 MCP 之上，支持挂载 MCP Servers 以连接到现实世界的工具。
• 基于协议驱动的事件流（Event Stream），用于驱动上下文工程和智能体 UI。

限制与风险

• 运行项目必须依赖外部的或本地的视觉语言模型才能工作。
• 如果选择使用基于云端的专有模型，可能会产生 API 费用。

如何开始

• 无需复杂的设置，可以通过 npx @agent-tars/cli@latest 直接启动。初始成功路径仅需运行该命令并提供模型 API 密钥。

核验依据

• GitHub 项目简介: The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra
• README: Agent TARS</b> is a general multimodal AI Agent stack, it brings the power of GUI Agent and Vision into your terminal, computer, browser and product.
• README: UI-TARS Desktop</b> is a desktop application that provides a native GUI Agent based on the <a href="https://github.com/bytedance/UI-TARS" target="_blank">UI-TARS</a> model.
• README: Natural language control powered by Vision-Language Model - 🖥️ Screenshot and visual recognition support - 🎯 Precise mouse and keyboard control - 💻 Cross-platform support (Windows…
• Release: v0.3.0

内容核验时间：