callstack/agent-device

项目概览

它能够将结构化无障碍快照、确定性操作与截图、视频、日志等证据文件组合起来，使 AI 代理可以基于真实应用状态推进并复核任务。

项目类型

MCP · AI Agent

应用场景

编程开发 · 自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 需要让 AI 编程代理获得真实移动端、电视端或桌面端应用反馈的开发者和 AI 工程团队。
• 需要把界面操作、状态检查和证据采集组合成可重复端到端流程的团队。
• 已经具备目标平台 SDK 或设备环境，并希望通过 CLI、API 或 Node.js 库接入自动化的使用者。

核心能力

• 通过结构化无障碍快照、类似 @e3 的交互引用、选择器和 React Native 组件树检查真实应用界面，为代理提供可读取的当前状态。
• 支持打开应用、点击、输入、滚动、执行手势、等待、断言状态、处理警报和关闭会话，将代理决定转化为设备上的确定性动作。
• 可采集截图、视频、日志、追踪、网络流量、音频级探针、性能样本、崩溃上下文和 React 性能分析，形成可检查的验证材料。
• 可将工作流录制为 .ad 脚本，用于本地运行、持续集成和可重复的端到端检查，并支持导出为严格的 Maestro YAML。
• 支持 iOS 模拟器、Android 模拟器、实体设备、tvOS、Android TV、macOS、Linux 以及桌面应用自动化，适合将同一验证目标延伸到多种设备环境。
• Node.js 使用者可以通过类型化客户端和公开子路径接入桥接集成，适合将设备自动化能力嵌入现有 Node.js 工具或代理编排层。

限制与风险

• 网页平台支持仅为最小程度，并复用了 agent-browser；如果核心需求是完整网页自动化，应在选型前单独验证覆盖范围。
• 上手难度为中等，原因包括需要编程或代理配置背景，以及按目标平台安装 Xcode 或 Android SDK 等平台 SDK。
• 最低硬件要求未明确记录，GPU 要求也未有文档说明；涉及设备规模或性能预算时，需要在目标环境中自行验证。

如何开始

• 安装 agent-device 后运行 `agent-device doctor`，先检查本地设备自动化环境，再进行目标平台操作。
• 资料给出的首次成功路径是：全局安装 `agent-device@latest`，运行 `agent-device doctor`，使用 `agent-device open SampleApp --platform ios` 打开应用，再用 `agent-device snapshot -i` 查看界面，最后执行 `agent-device close` 关闭会话。
• 开始前应按目标平台准备 Node.js 22 及以上、Xcode 或 Android SDK 与 ADB，并在 macOS 桌面自动化场景授予辅助功能权限。

核验依据

• README: Mobile app verification for AI agents. A device automation CLI for real apps on iOS, Android, TV, web, and desktop. Agents get token-efficient snapshots, semantic refs, and eviden…
• GitHub 项目简介: CLI to control iOS and Android devices for AI agents
• README: - **Inspect** real app UI through structured accessibility snapshots, interactive refs like `@e3`, selectors, and React Native component trees. - **Interact** by opening apps, tap…
• README: | Path | Best for | Start with | | --- | --- | --- | | Local | Exploration, debugging, and development loops on simulators, emulators, physical devices, macOS apps, and Linux desk…
• README: Used by teams and developers at Callstack, JPMorgan Chase, Expensify, Shopify, Kindred, Total Wine & More, LegendList, HerLyfe, App & Flow, and more.

来源更新时间：2026-07-16T18:06:40Z

打开原始 GitHub 项目