trycua/cua

项目概览

该项目的后台驱动支持在不抢占光标和焦点的情况下操控原生桌面应用，解决了自动化测试与智能体操作打断人工工作的痛点。

项目类型

AI Agent · 评测观测 · 基础设施

应用场景

自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 具备 Python 编码能力、需要在本地构建和评测跨操作系统 AI 自动化智能体的开发者与研究人员。
• 使用 Apple Silicon 硬件、并需要在其上管理 macOS/Linux 隔离虚拟机环境的工程团队。

核心能力

• 在后台驱动原生桌面应用程序。智能体可以执行点击、输入和验证操作，而不会抢占用户的光标或窗口焦点。
• 提供统一的 API 来构建智能体，使其能够查看屏幕、点击按钮，并在任何虚拟机或容器镜像（云端或本地）中自主完成任务。
• 在 OSWorld、ScreenSpot、Windows Arena 和自定义任务上评估计算机使用智能体的表现，并支持导出轨迹用于模型训练。
• 使用 Apple 的 Virtualization.Framework，在 Apple Silicon 硬件上创建和管理具有接近原生性能的 macOS 和 Linux 虚拟机。

限制与风险

• 在首次显示启动时，Sequoia macOS 虚拟机流程可能仍会打开设置助手的“辅助功能”步骤。
• Linux 支持 X11 以及针对特定合成器的 Wayland 路由，但对于原始后台输入存在明确的限制。
• 可选组件 cua-agent[omni] 包含采用 AGPL-3.0 许可证的 ultralytics 依赖项，集成时需注意合规性。

如何开始

• 安装难度为中等。可通过运行 pip install cua 或使用安装脚本完成安装。代码开发要求 Python 3.11 及以上版本，如需使用虚拟机则需要下载 Apple 恢复镜像。
• 成功路径为：安装包 -> 在代码中导入并初始化 Sandbox 或驱动 -> 执行命令或自动化桌面应用程序。

核验依据

• GitHub 项目简介: Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.
• README: Drive native desktop apps **in the background**. Agents click, type, and verify without stealing the cursor or focus.
• README: Use the same CLI and MCP server on macOS, Windows, and Linux from Claude Code, Cursor, Codex, OpenClaw, and custom clients.
• README: Linux supports X11 and compositor-specific Wayland routes with explicit limits for raw background input.
• README: Build agents that see screens, click buttons, and complete tasks autonomously. One API for any VM or container image — cloud or local.

来源更新时间：2026-07-17T18:15:07Z

打开原始 GitHub 项目