TencentQQGYLab/AppAgent

项目概览

appagent 已提供自主探索、人工演示学习和基于既有文档库的自动执行三项衔接能力，可验证其是否适合需要先学习界面、再重复执行任务的 Android 自动化流程。

项目类型

AI Agent

应用场景

自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 适合具备编程能力、能够连接 Android 真机或配置 Android Studio 模拟器，并希望以屏幕交互方式研究或构建应用自动化流程的开发者、研究人员和 AI 工程师。

核心能力

• 智能体可在无人干预下尝试完成给定任务，依据先前动作进行反思，并为已探索的界面元素生成文档。用户可用这一过程积累后续执行可复用的界面知识。
• 用户可在截图中手动操作带标签的界面元素来演示任务；系统据此学习并为这些界面元素生成文档。该方式允许将人工完成的操作过程转化为文档基础。
• 智能体可使用此前生成的文档库，自动执行用户给出的任务。其用户价值在于将探索或演示阶段形成的文档用于后续操作。
• 屏幕可选用网格覆盖层，使智能体能够在屏幕任意位置点击或滑动，以处理没有数字标签的界面元素定位问题。
• 用户可通过在 scripts/model.py 中编写新的模型类，测试自己的模型。这为需要评估其他模型实现的开发者提供了接入点。

限制与风险

• GPT-4V 并非免费；项目中每个请求/响应对的成本约为 0.03 美元。使用前应按预期交互轮数评估预算。
• 在没有既有文档的情况下运行智能体，任务成功率不受保证。需要验证冷启动任务是否适合先探索或通过人工演示建立文档。
• 资料指出，Qwen-VL-Max 等免费替代模型相较 GPT-4V 的性能较弱；选择模型时应将该差异纳入验证。
• 现有资料未记录 GPU 要求；最低硬件要求也未提供，因此部署前需要在目标环境自行确认资源可用性。

如何开始

• 先使用 pip 安装依赖，在 config.yaml 配置 OpenAI API 密钥，连接已开启 USB 调试的 Android 设备或配置 Android Studio 模拟器，再运行 learn.py 并按提示操作。该路径需要 Python 依赖配置、API 密钥和设备连接准备。

核验依据

• GitHub 项目简介: AppAgent: Multimodal Agents as Smartphone Users, an LLM-based multimodal agent framework designed to operate smartphone apps.
• README: [2024.1.2]: Added an optional method for the agent to bring up a grid overlay on the screen to **tap/swipe anywhere** on the screen.
• README: We introduce a novel LLM-based multimodal agent framework designed to operate smartphone applications. Our framework enables the agent to operate smartphone applications through a…
• README: The demo video shows the process of using AppAgent to follow a user on X (Twitter) in the deployment phase.
• README: This section will guide you on how to quickly use `gpt-4-vision-preview` (or `qwen-vl-max`) as an agent to complete specific tasks for you on your Android app.

内容核验时间：