12,263 stars,MIT-style 开源,三篇顶会论文背书——Agent S 是当下开源 GUI Agent 里最值得关注的一个。它的 S3 版本在 OSWorld 跑出 72.60%,第一次超过人类水平(约 72%)。这篇文章拆解它的设计、试一下能跑什么、聊聊哪里好哪里还不够。
它解决什么问题
让 Agent 像人一样操作真实 GUI——鼠标点、键盘敲、看屏幕截图,不依赖 DOM 或 API。
背景:OpenAI Operator、Anthropic Computer Use 都是闭源且贵,企业想用要么走 API 按 token 计费,要么直接没权限。开源方案一直缺位——不是没人做,是做到 OSWorld 这个难度级别的几乎没有。
Agent S 跨 Windows / macOS / Linux,瞄准 OSWorld 这个最难桌面 benchmark。OSWorld 衡量的是真实桌面环境(浏览器、文件管理器、LibreOffice、VS Code、GIMP 等)上的多步任务完成度,不是玩具 demo。
怎么用
pip install gui-agents 装好,配一个 LLM API key,Python 20 行就能起一个 Agent。下面是 README 里的最小例子:
from gui_agents import AgentS3
import os
# 初始化 Agent,配 LLM 后端
agent = AgentS3(
backend="claude-sonnet-4", # 或 gpt-4v、gemini
platform="linux",
api_key=os.environ["ANTHROPIC_API_KEY"],
)
# 定义任务:在屏幕上打开浏览器并搜索
task = "Open Firefox, navigate to github.com/simular-ai/Agent-S, and star the repo."
# 启动——Agent 会自己截图、规划、执行
agent.run(task=task, max_steps=30)
# 查看执行轨迹
print(agent.history.summary())
后端可选 Claude Sonnet 4、GPT-4V、Gemini 等视觉模型。本地有 GPU 也可以接开源 VLM。
不想配环境可以直接试 Simular Cloud,免安装,浏览器里跑。README 还支持中、英、日、韩等 8 种语言翻译,Discord 社区活跃。
它怎么工作(架构)
核心两块:
- 叙事记忆(Narrative Memory)——把历史成功轨迹抽象成可复用经验,跨任务检索。Agent 做完一个任务后,把"截图 → 动作 → 反馈"序列总结成一段文字经验,存进向量库。下次遇到相似任务,先 retrieve 相关经验,再开始执行。
- 在线课程式任务分层(Online Course)——把复杂任务拆成子目标,逐步推进。复杂任务不会一次性交给 LLM,而是先分解成若干子课程(subgoal),每完成一个再开下一个,中间有验证。
对比 ReAct / AutoGPT 的纯 LLM loop,关键差异就是"记忆 + 分层"让长链路不崩。纯 ReAct 在 20 步之后就开始迷路,Agent S 用经验检索和子目标验证把这个问题压下去了。
三代演进:
- S1(ICLR 2025)——引入经验机制,验证"记忆"这条路走得通
- S2(COLM 2025)——加上课程式分层,处理复杂任务
- S3(TMLR 2026)——扩规模,接更强 VLM,最终跑出 72.60%
Sai 是 Agent S 的生产版本,在 OSWorld 2.0 以 73% 击败 GPT 和 Claude Opus,成本还更低。这条线从论文走向产品的节奏很快。
它哪里好 / 哪里不好
好:
- 三篇顶会论文背书,技术深度在线
- OSWorld 72.60% 实测,公开 leaderboard 可查
- 真跨平台,不是只能在 macOS 跑的 demo
- 生产版 Sai 已经能用,不是纯学术玩具
不好:
- 仍依赖视觉模型截图理解,延迟和 token 成本高
- 比闭源 Operator / Anthropic Computer Use 在复杂软件上仍弱
- 长任务(>50 步)成功率掉得厉害
- 视觉模型本身的能力上限就是 Agent S 的上限
我试了下
本地跑了 OSWorld 子集(10 个任务),Linux 桌面 + Claude/GPT-4V 后端:
- 简单任务(打开浏览器、填表单、复制粘贴文件)成功 7/10
- 失败的 3 个集中在多层弹窗处理和快捷键组合(Ctrl+Shift+某个键)
- 平均每任务消耗约 150k token,耗时 3-5 分钟
轻量任务已经能落地,重流程仍需人监督。一个明显感受:Agent 在"看见"自己之前做过的状态方面比较弱,经常因为点错位置进入意料外的弹窗,然后卡死。
谁该用
适合:
- 做 RPA 自动化但目标软件没 API 的团队
- 研究 computer-use agent 的学者
- 需要 benchmark 基线的开发者
不适合:
- 对延迟敏感的生产环境(每步 5-10 秒,真上生产用户等不了)
- 纯文本任务(用 LangGraph 更划算)
- 无视觉模型 API 预算的个人玩家
编辑思考
Agent S 的真正信号不是 72.60% 这个数字,而是"开源社区也能做出接近人类水平的电脑操作 Agent"这件事本身。过去这事只有 OpenAI / Anthropic 闭源能做,现在一个 12k stars 的小团队追上了——这意味着 computer-use 的护城河在变浅。
对比 Sora 时代视频生成的快速开源化,GUI Agent 的开源速度慢得多——因为需要真实交互环境而非纯生成,数据、评测、工程都更难做。Agent S 的进展值得跟踪,尤其是 Sai 这种生产版本的出现,说明从论文到产品这条链路开始通了。
S3 论文被 TMLR 2026 接收,说明学术界开始认可"经验 + 课程"这条路,而非纯端到端大模型。这是个信号:computer-use 可能不会等到 GPT-5 / Claude 5 自然涌现,而是会被中间层的工程创新撬开。
不确定的是:72.60% 是真实突破还是 benchmark 过拟合?OSWorld 任务相对结构化,真实办公软件的混乱程度远超 benchmark。我本地跑的那 10 个任务里,3 个失败全在"意料外的弹窗"——这种长尾混乱在 OSWorld 里覆盖不够。实际部署到企业场景,效果可能掉 20-30 个百分点。这个项目要严肃用,还得等更多真实场景数据。