simular-ai/Agent-S

项目概览

该项目在 OSWorld 计算机使用基准测试中报告了 72.60% 的成绩，据其自述是首个超越人类水平的框架，为评估桌面任务自动化提供了可验证的参考。

项目类型

AI Agent · AI 工作流

应用场景

自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在桌面端实现图形界面交互自动化的开发者和 AI 工程师。

核心能力

• 通过代理-计算机接口与计算机进行自主交互，在桌面上执行复杂任务。
• 一项可选功能，允许代理在本地执行 Python 和 Bash 代码，用于数据处理、文件操作和系统自动化。
• 通过对动作进行反思来辅助工作代理，以改善任务完成情况。

限制与风险

• 项目仅针对单显示器屏幕设计，不提供多显示器支持。
• 代理运行 Python 代码来控制计算机，且可选的本地环境会执行任意代码，使用时需注意安全风险。
• 主模型和 grounding 模型需要依赖外部付费 API 服务。

如何开始

• 安装难度中等，需安装 Python 包及 Tesseract 等系统依赖，获取并配置外部模型的 API 密钥，并单独设置 grounding 模型的端点。

替代方案与同类比较

• 结合 GUI 代理、浏览器自动化和桌面控制的开源多模态 AI 代理栈。
• 将网站和已登录的浏览器会话转换为确定性 CLI 接口，并支持通过已登录的 Chrome 会话进行浏览器自动化。
• 通过多模态理解屏幕内容和自然语言指令，在手机上自动执行任务的手机代理框架。

同类比较

• simular-ai/Agent-S vs ui-tars-desktop
• simular-ai/Agent-S vs opencli
• simular-ai/Agent-S vs open-autoglm

核验依据

• GitHub 项目简介: Agent S: an open agentic framework that uses computers like a human
• README: Welcome to **Agent S**, an open-source framework designed to enable autonomous interaction with computers through Agent-Computer Interface. Our mission is to build intelligent GUI…
• README: 🏆 Agent S3: First to Surpass Human Performance on OSWorld (72.60%)
• README: Agent S3 is the **first** to surpass human-level performance on OSWorld with an impressive score of **72.60%**!
• README: `OSWorldACI` is our grounding agent that translates agent actions into executable python code.

来源更新时间：2026-07-25T23:52:09Z

打开原始 GitHub 项目