12,263 stars、MIT 風ライセンス、三本のトップ会議論文が後ろ盾——Agent S は今最も注目すべきオープンソース GUI Agent だ。S3 バージョンは OSWorld で 72.60% を叩き出し、人間の水準(約 72%)を初めて超えた。本記事ではその設計を解体し、何ができるかを試し、長所と短所を整理する。
解决的问题
何の課題を解決するか
Agent を人間のように本物の GUI で操作させる——マウスのクリック、キーボード入力、画面スクリーンショット認識。DOM や API には依存しない。
背景:OpenAI Operator や Anthropic Computer Use はいずれもクローズドソースで高額だ。企業が使うならトークン従量課金で API を叩くか、そもそも利用権限がないかのどちらか。オープンソース領域は長らく空白だった——誰もやっていなかったわけではなく、OSWorld という難易度帯で戦えるレベルに達したものがほぼ存在しなかったのだ。
Agent S は Windows / macOS / Linux を横断し、OSWorld という最難関のデスクトップ benchmark を狙いに行く。OSWorld が測るのは、ブラウザやファイルマネージャー、LibreOffice、VS Code、GIMP などの実デスクトップ環境における多段階タスクの完遂率であり、お遊びのデモではない。
使い方
pip install gui-agents でインストールし、LLM の API key を用意すれば、Python 20 行で Agent が立ち上がる。README にある最小例は次のとおり。
from gui_agents import AgentS3
import os
# Agent を初期化し、LLM バックエンドを指定
agent = AgentS3(
backend="claude-sonnet-4", # gpt-4v や gemini も可
platform="linux",
api_key=os.environ["ANTHROPIC_API_KEY"],
)
# タスク定義:ブラウザを起動して検索
task = "Open Firefox, navigate to github.com/simular-ai/Agent-S, and star the repo."
# 実行——Agent が自律的にスクリーンショット取得、計画、実行を行う
agent.run(task=task, max_steps=30)
# 実行軌跡の確認
print(agent.history.summary())
バックエンドには Claude Sonnet 4、GPT-4V、Gemini などの視覚モデルを選べる。ローカルに GPU があればオープンソース VLM を接続することも可能だ。
環境構築を避けたい場合は Simular Cloud を直接試せる。インストール不要でブラウザ内で動く。README は中・英・日・韓など 8 言語への翻訳をサポートしており、Discord コミュニティも活発だ。
アーキテクチャ:どう動くか
中核は次の 2 つの機構だ。
- Narrative Memory(ナラティブ記憶)——過去の成功軌跡を抽象化して再利用可能な経験に変え、タスク横断で检索する。Agent はタスク完了後、「スクリーンショット → 行動 → フィードバック」の系列を一つの文章的经验にまとめてベクトル DB に格納する。次回似たタスクに出会ったら、まず関連経験を retrieve してから実行に移る。
- Online Course(オンラインコース型タスク階層化)——複雑なタスクをサブゴールに分解し、段階的に進める。複雑なタスクを LLM に一括で渡すのではなく、まず複数のサブコース(subgoal)に分解し、ひとつ完了するごとに次のを開き、途中に検証を挟む。
ReAct / AutoGPT の素の LLM ループと比較したときの鍵は、「記憶+階層化」によって長链路の崩壊を防いでいる点にある。素の ReAct は 20 ステップを超えると迷子になり始めるが、Agent S は経験检索とサブゴール検証でこの問題を押さえた。
三代にわたる進化:
- S1(ICLR 2025)——経験メカニズムを導入し、「記憶」ルートの有効性を検証
- S2(COLM 2025)——コース型階層化を加え、複雑タスクへ対応
- S3(TMLR 2026)——スケールを拡大し、より強力な VLM を接続、最終的に 72.60% を達成
Sai は Agent S のプロダクションバージョンで、OSWorld 2.0 で 73% を記録し GPT や Claude Opus を破った上で、コストも低い。このラインは論文からプロダクトへの移行テンポが速い。
長所と短所
長所:
- 三本のトップ会議論文が後ろ盾にあり、技術的な奥行きは十分
- OSWorld 72.60% という実測値、公開 leaderboard で検証可能
- 真のクロスプラットフォーム対応。macOS でしか動かないデモではない
- プロダクション版の Sai がすでに実用レベル、純粋な学术プロトタイプではない
短所:
- 視覚モデルによるスクリーンショット理解に依存しており、レイテンシとトークンコストが高い
- 複雑なソフトウェアではクローズドソースの Operator / Anthropic Computer Use にまだ劣る
- 長タスク(>50 ステップ)の成功率は急激に落ちる
- 視覚モデル本身の能力上限が、そのまま Agent S の上限になる
実際に試してみた
ローカルで OSWorld のサブセット(10 タスク)を実行。Linux デスクトップ+Claude / GPT-4V バックエンド構成。
- 簡単なタスク(ブラウザ起動、フォーム入力、ファイルコピー&ペースト)は 7/10 成功
- 失敗した 3 件は 多層ポップアップ処理とショートカットキー複合(Ctrl+Shift+某キー)に集中
- タスクあたり平均 150k トークン消費、所要 3〜5 分
軽量タスクはすでに実運用に載せられるが、重いフローでは人の監視が要る。明確な所感として、Agent は自分が直前に見ていた画面状態を「視る」のが苦手で、クリック位置を誤って想定外のポップアップに入り、そのまま固まるケースが多かった。
誰が使うべきか
向いているケース:
- RPA 自動化をしたいが対象ソフトに API がないチーム
- computer-use agent を研究する学者
- benchmark ベースラインが必要な開発者
向いていないケース:
- レイテンシに厳しいプロダクション環境(1 ステップ 5〜10 秒は、実運用ではユーザーを待たせすぎる)
- 純粋なテキストタスク(LangGraph のほうがコスト効率が良い)
- 視覚モデル API の予算がない個人ユーザー
編集部の所感
Agent S の本当のシグナルは 72.60% という数字そのものではなく、「オープンソースコミュニティも人間水準に近い PC 操作 Agent を作れる」という事実にある。これまでは OpenAI / Anthropic のクローズドソースでしか到達できなかった領域に、12k stars の小さなチームが肩を並べた——computer-use の堀が浅くなりつつあるということだ。
Sora 時代の動画生成の急速なオープンソース化と比べると、GUI Agent のオープン化はずっと遅い。生成ではなく本物のインタラクション環境が必要なため、データ・評価・エンジニアリングのすべてが難しい。Agent S の進捗は追う価値がある。特に Sai のようなプロダクション版が登場したことで、論文からプロダクトへのパスが開き始めたことが分かる。
S3 論文が TMLR 2026 に採録されたのは、「経験+コース」ルートを学术界がエンドツーエンドの大規模モデル路線とは別に認め始めた証拠だ。これは一つのシグナルであり、computer-use は GPT-5 / Claude 5 の自然涌现を待たず、中間層のエンジニアリング革新によって開かれる可能性がある。
不確実な点もある。72.60% は本物の突破なのか、benchmark への過学習なのか。OSWorld のタスクは比較的構造化されており、実オフィスソフトの混沌は benchmark をはるかに超える。筆者がローカルで試した 10 タスクのうち、失敗した 3 件はすべて「想定外のポップアップ」だった——こうしたロングテールの混沌は OSWorld では十分にカバーされていない。実際の企業現場に展開すると効果は 20〜30 ポイント落ちる可能性がある。本プロジェクトを本格運用するには、より多くのリアルシナリオのデータが待たれる。