コーディング Agent の比較記事はもういくつも読んできたが、Armature Tech の着眼点は一味違う。「どの Agent がよいコードを書くか」を競うのではなく、実タスクの中で Agent が自分から手を伸ばしたツールを数えた。出力を quality で比べるのではなく、ツールリストを可視化するアプローチだ。1万7000回もの実行を Claude、Codex、Cursor にそれぞれ走らせている。
Agent が「自分でどの食材を買いに行くか」をのぞき込むというこの切り口は、既存の主流ベンチマークではあまり見かけない。
テスト手法:デモではなく、Agent 自身の選択を見る
一般的な Agent 評価はこうだ。プロンプトを渡し、実行し、出力が正しいかを見る。HumanEval、MBPP、SWE-bench がその代表例。
Armature は別経路を採った——Agent が自発的にインストール・呼び出したツールを記録する。
具体的な手順はこうだ。実際のエンジニアリングタスク(リポジトリ読み込み、テスト作成、依存関係の調整、バグ修正)を与え、Agent 自身に判断させる。「npm install で何を入れるか」「どの CLI を呼ぶか」「どの MCP server を使うか」を Agent が決め、タスク完了後にツール呼び出しログを集計する。
この手法の利点はベンダーの市場文言を避けられることだ。Anthropic、OpenAI、Cursor それぞれがうたう機能セットと、Agent が 1万7000回の中で実際に手を伸ばしたツールは別物であることが多く、両者が食い違うケースは珍しくない。
データソース:Armature Tech 原文
三つの Agent のツール嗜好、想像以上に差が開く
Armature は高頻出ツールをいくつかのカテゴリに分類している。とくに興味深いものを抜粋する。
三者共通で入れる「お決まりセット」
- ファイル操作系:
Read、Write、Edit、Glob、Grep。言わずもがな。 - Git ツールチェーン:
git status、git diff、git commit。三家とも使う。 - テストランナー:Python なら
pytest、JS ならnpm test。 - パッケージ管理:言語により
pip/npm/pnpmを使い分けるが、いずれも呼び出し頻度は高い。
ここは異論の余地がなく、ツール呼び出しはこうあるべきという姿だ。
差が出始める領域
- Claude:LSP(language server protocol)関連ツールの呼び出しが顕著に多い。まずはコードを「読み込む」フェーズを重視する傾向がある。定義ジャンプ、型確認、参照チェックを行い、それから手を入れる。
tree-sitter、mypy、tsc --noEmitといった静的チェックの呼び出し頻度は他二家を明確に上回る。 - Codex:「直して終わり」スタイルに振れている。ツール呼び出しチェーンが短く、lint をほぼ走らせず、修正したら即 commit。「先に検証してから書く」工程を省くような動き方をする。
- Cursor:IDE 統合系ツールの呼び出しが最多。タブジャンプ、複数ファイル diff、in-editor テスト実行など、自社のエディタ文脈に強く依存する。
固有のくせ
- Claude はタスクで要求されていなくても
ruffとblackを自ら入れることが多い。 - Codex は複数の変更を 1 回の commit にまとめがちで、ツール呼び出し回数は最少。
- Cursor は長尺タスクで「現在選択中のファイルを読み込む」を繰り返す。IDE 状態への依存度が著しく高い。
これらの差はベンダーの PR によるものではなく、1万7000件のログから掘り出されたものだ。
直感に反する発見:高い Agent ほど怠惰
ここで一つ意外だった結論がある。
「Claude Opus 4 なら、能力最強→最も多くのツールを入れる→あらゆるものを自在に使う」と思いたいところだが、実測はそうではなかった。
Armature のデータによれば、能力の高いモデルほど、ツール呼び出し回数はむしろ少ない。
- Claude(特に Sonnet/Opus ティア)は多くのタスクで、より少ないツール呼び出しで同じ成果を出す。一度で必要な context をすべて取ろうとし、行って来いの試行を繰り返さない傾向がある。
- Codex は一部タスクで Claude の 1.5〜2 倍のツール呼び出しを行う。
- Cursor は中間で、IDE 関連ツールの割合が明確に高い。
これは「新モデル=より勤勉」という直感とは逆だ。より妥当な解釈はこうだ:能力の高いモデルほどツールの選択が正確。必要な情報を一発で取得する術を知っており、能力の低いモデルは推測のためにより多くのラウンドを必要とする。
言い換えれば、ツール呼び出し回数を単純に「作業量」と等価視してはならない。少ないほうが効率的という可能性こそ高い。
もう一つの関連現象として、高価・新しいモデルほど新規依存を自発的にインストールする頻度が低い。プロジェクト既存のライブラリを優先し、npm install を連発しない。本番環境にとっては朗報だ——依存の肥大化は Agent システムにありがちな隠れたコストだからだ。
開発者にとっての実用的な意味:ベンチマークだけを見るな
Agent 製品を作っている、あるいは CI に Agent を組み込む選定段階で、これらのデータには直接的な使い道がある。
1. トークンコストはツール呼び出しパターンで見る。モデル単価では判断できない。
モデルの価格表は input/output token で計算される。だが Agent の token 消費の大半はツールが返す内容——ファイル本文、grep 結果、テスト出力——だ。Claude は呼び出し回数が少ないからといって、token 総消費が少ないとは限らない。一回の呼び出しでより多くの内容を引っ張る可能性がある。自身のタスク種別で測る必要がある。
# ざっくりしたコスト見積もりのフレームワーク
def estimate_cost(agent_runs):
total = 0
for run in agent_runs:
# ツール呼び出し一回あたりの平均 token
avg_tool_tokens = run['total_tokens'] / max(run['tool_calls'], 1)
# モデル単価
model_cost = run['model_price_per_1k'] * run['total_tokens'] / 1000
total += model_cost
return total
「どのモデルが高いか」を直接見るよりも、この値のほうが実態に近い。
2. ツールのホワイトリストは一律に決めない。
Agent にツールを割り当てる場合、Armature のデータはタスク別の配分を勧める。
- 読み込み多め・修正少なめのタスク → Claude 流(LSP 重視、静的チェック強化)
- 高速イテレーションのタスク → Codex 流(短い呼び出しチェーン、頻回 commit)
- IDE との深い統合が求められるシナリオ → Cursor の流儀
3. 「ツール肥大化」に警戒する。
Agent が呼び出せるツールは多ければ多いほどいいのか。実測データはむしろ逆だ。Claude はツールが少ない環境でも安定した挙動を示す——使うべきもの・触るべきでないものを弁別している。ツールプールが広がると、どの Agent も安定性を落とす。
運用の勘どころ:立ち上げ時は 5〜10 個のコアツールに絞り、タスクでの実績を見ながら段階的に追加する。最初からエコシステム全体を露出させるのは得策ではない。
編集後記
このテーマをわざわざ取り上げるのは、Agent 評価の焦点が静かに動いているからだ。
ここ 2 年ほど、誰が「より多くのテストを通すコードを書けるか」を競ってきた。HumanEval、MBPP、SWE-bench がベンチマーク業界を支配してきた。だがこの方式には死角がある。Agent を「解答マシン」として扱い、Agent がツール生態系の中で働いているという事実を見落としている点だ。ツールの選び方は本番環境のコストと安定性に直結する。
Armature の手法は別の物差しを提供してくれる。「何問正解したか」ではなく、「1万7000回の実タスクの中で Agent が自発的に手を出したものは何か」を見る。この物差しはベンチマークよりも実際の利用場面に近い。
筆者の見立てでは、次世代の Agent 評価は「出力品質」から「ツール利用効率」へ軸足を移すだろう。具体的な指標は token per task、tool-call redundancy rate、dependency bloat index あたりになる可能性がある。先行するチームも既に出始めている。
一方で、Armature の手法の限界も記しておく。1万7000件のタスク内訳、リポジトリの種類、Agent の設定バージョンがいずれも結論に影響する。Claude の「少ないツール」嗜好は、ある種の長尺タスクでは逆に弱点になり得る。一度に引く context が膨らみ、token 上限に直撃する可能性があるからだ。これらのデータは横断面であって、因果ではない。
もう一つ未解明の点がある。これらの嗜好はモデルアーキテクチャ由来なのか、学習データ由来なのか。fine-tune の版が変わればツール嗜好も変わるのか。Armature はこの問いに答えていないし、答えも知らない。
ただ一点だけ確かなのは、Agent のツール呼び出しログを眺めるほうが、ベンダーの PR ページを信じるより、ずっと信頼できるということだ。