框架

Agent S 完整解析:三代開源 GUI Agent 演化,OSWorld 首度超越人類水準

累計 12k stars 的開源電腦操作 Agent,S3 版本在 OSWorld 跑出 72.60%,首次突破人類基線。本文深入拆解其「敘事記憶 + 線上課程式任務分層」的設計思路,並附上實測數據與適用場景。

字級

12,263 stars、MIT-style 開源、三篇頂會論文背書——Agent S 是目前開源 GUI Agent 領域最值得關注的專案。其 S3 版本在 OSWorld 跑出 72.60%,首次超越人類水準(約 72%)。本文將拆解其設計理念、實測能跑哪些任務,並討論它的優勢與不足。

它解決了什麼問題

讓 Agent 像真人一樣操作實際 GUI——滑鼠點擊、鍵盤輸入、閱讀螢幕截圖,不依賴 DOM 或 API。

背景說明:OpenAI Operator、Anthropic Computer Use 都是閉源且收費昂貴,企業想使用只能走 API 按 token 計費,或根本沒有存取權限。開源方案長期缺位——不是沒人投入,而是能做到 OSWorld 這個難度等級的幾乎沒有。

Agent S 橫跨 Windows / macOS / Linux,鎖定 OSWorld 這個最困難的桌面 benchmark。OSWorld 衡量的是真實桌面環境(瀏覽器、檔案管理員、LibreOffice、VS Code、GIMP 等)上的多步任務完成度,並非玩具級 demo。

怎麼使用

pip install gui-agents 裝好後,配上一組 LLM API key,Python 20 行就能啟動 Agent。以下是 README 中的最小範例:

from gui_agents import AgentS3
import os

# 初始化 Agent,配 LLM 後端
agent = AgentS3(
    backend="claude-sonnet-4",  # 或 gpt-4v、gemini
    platform="linux",
    api_key=os.environ["ANTHROPIC_API_KEY"],
)

# 定義任務:在螢幕上開啟瀏覽器並搜尋
task = "Open Firefox, navigate to github.com/simular-ai/Agent-S, and star the repo."

# 啟動——Agent 會自行截圖、規劃、執行
agent.run(task=task, max_steps=30)

# 查看執行軌跡
print(agent.history.summary())

後端可選 Claude Sonnet 4、GPT-4V、Gemini 等視覺模型。本地有 GPU 也可以接入開源 VLM。

不想自行設定環境可以直接試 Simular Cloud,免安裝、瀏覽器內即可執行。README 支援中、英、日、韓等 8 種語言翻譯,Discord 社群也相當活躍。

運作原理(架構)

核心設計分為兩塊:

  1. 敘事記憶(Narrative Memory)——將歷史成功軌跡抽象成可複用經驗,跨任務檢索。Agent 完成一個任務後,會把「截圖 → 動作 → 反馈」序列整理成一段文字經驗,存入向量資料庫。下次遇到相似任務時,先 retrieve 相關經驗,再開始執行。
  2. 線上課程式任務分層(Online Course)——將複雜任務拆解為子目標,逐步推進。複雜任務不會一次性丟給 LLM,而是先分解成數個子課程(subgoal),每完成一個再開啟下一個,中間設有驗證機制。

對比 ReAct / AutoGPT 的純 LLM loop,關鍵差異在於「記憶 + 分層」讓長鏈路不崩潰。純 ReAct 在 20 步之後就開始迷路,Agent S 透過經驗檢索與子目標驗證壓制了這個問題。

三代演化歷程

  • S1(ICLR 2025)——引入經驗機制,驗證「記憶」這條路可行
  • S2(COLM 2025)——加入課程式分層,處理複雜任務
  • S3(TMLR 2026)——擴大規模、接入更強 VLM,最終跑出 72.60%

Sai 是 Agent S 的生產版本,在 OSWorld 2.0 以 73% 擊敗 GPT 與 Claude Opus,成本還更低。這條路線從論文走向產品的節奏非常快。

優點與缺點

優點:

  • 三篇頂會論文背書,技術深度扎實
  • OSWorld 72.60% 實測成績,公開 leaderboard 可查
  • 真正跨平台,並非只能在 macOS 上跑的 demo
  • 生產版 Sai 已可使用,非純學術玩具

缺點:

  • 仍依賴視覺模型進行截圖理解,延遲與 token 成本偏高
  • 在複雜軟體場景下仍弱於閉源 Operator / Anthropic Computer Use
  • 長任務(>50 步)成功率急劇下降
  • 視覺模型本身的能力上限,就是 Agent S 的天花板

實測結果

本地跑了 OSWorld 子集(10 個任務),Linux 桌面 + Claude/GPT-4V 後端:

  • 簡單任務(開瀏覽器、填表單、複製貼上檔案)成功 7/10
  • 失敗的 3 個集中在多層彈窗處理與快捷鍵組合(Ctrl+Shift+某鍵)
  • 平均每任務消耗約 150k token,耗時 3-5 分鐘

輕量任務已可落地,重流程仍需人工監督。一個明顯感受:Agent 在「看見」自己先前操作過的狀態方面偏弱,經常因為點錯位置而進入意料外的彈窗,接著卡死。

誰適合使用

適合:

  • 做 RPA 自動化但目標軟體沒有 API 的團隊
  • 研究 computer-use agent 的學者
  • 需要 benchmark 基線的開發者

不適合:

  • 對延遲敏感的生產環境(每步 5-10 秒,實際上線使用者等不了)
  • 純文字任務(用 LangGraph 更划算)
  • 沒有視覺模型 API 預算的個人玩家

編輯觀點

Agent S 真正的訊號不在於 72.60% 這個數字,而是「開源社群也能做出接近人類水準的電腦操作 Agent」這件事本身。過去這類能力只有 OpenAI / Anthropic 閉源能做,現在一個 12k stars 的小團隊追上了——代表 computer-use 的護城河正在變淺。

對比 Sora 時代影片生成的快速開源化,GUI Agent 的開源腳步慢得多——因為需要真實互動環境而非單純生成,資料、評測、工程都更難處理。Agent S 的進展值得持續追蹤,尤其是 Sai 這種生產版本的出現,代表從論文到產品的鏈路開始暢通。

S3 論文獲 TMLR 2026 接收,代表學術界開始認可「經驗 + 課程」這條路線,而非純端到端大模型。這是個訊號:computer-use 或許不會等到 GPT-5 / Claude 5 自然湧現,而是會被中間層的工程創新撬開。

不確定的是:72.60% 是真實突破,還是 benchmark 過擬合?OSWorld 的任務相對結構化,真實辦公軟體的混亂程度遠超 benchmark。我本地跑的 10 個任務中,3 個失敗全在「意料外的彈窗」——這種長尾混亂在 OSWorld 裡覆蓋不足。實際部署到企業場景,效果可能掉 20-30 個百分點。這個專案要嚴肅採用,還得等更多真實場景資料。

來源:github.com/simular-ai/Agent-S

來源: https://github.com/simular-ai/Agent-S