見解

DeepSWEの高記録から、Agentベンチマークの信頼性を問い直す

MaxxBenchはDeepSWEの高得点に疑問を投げかけ、その実測性と再現可能性を読み解く。コードAgentの評価には、テスト通過率だけでなく、再現可能な実行記録とタスク単位のレポートが欠けている。

文字サイズ

MaxxBenchはDeepSWEの成績をそのまま受け入れるのではなく、「Nice DeepSWE score. But is it true?」と問いかけた。論点は順位ではない。むしろ、ランキングが実際の、再現可能なソフトウェア開発能力を測れているかにある。

高記録を見て急于喜ぶ前に

コードAgentのランキングに、また高いスコアが現れた。

MaxxBenchは随后、記事「Why MaxxBenchを公開したが、DeepSWEの成績を追いrepeatするのではなく、まずこう問うた。

「Nice DeepSWE score. But is it true?」

这是一个克制却分量很重的提问。

DeepSWEが不正だとは断定せず、特定のスコアを無効だとも宣言しない。問われているのは、より根本的な問いだ。Agentが提出した結果は、本当にタスクを完了しているのか。

MaxxBenchはAIのソフトウェア開発Agentを評価するために使われる。現在公開されている要約では、研究の重点はDeepSWEの高得点が本物かどうか、そして再現可能かどうかにある。原文リンクは以下のとおり。

この研究はHacker Newsのフロントページに載せられ、77ポイントと15件のコメントを集めた。

開発者が関心を集めたのは、誰が1位だったかではない。今後、このようなランキングがAgentの実際の能力を区別できるかどうかだった。

境界を明確にしておく。公開されている要約には、DeepSWEの具体的なスコア、タスクサンプル、試行回数、環境設定は記載されていない。そのため、この情報だけで成績が不正だと判断することはできない。

ただし、「不正の証拠がない」ことは、「高得点の信頼性が証明された」ことを意味しない。この二つは別の話だ。

ベンチマークが測るのは解法か、エンジニアリングか

コードAgentのベンチマークでは通常、ソフトウェアリポジトリ、Issue、テスト一式が与えられる。Agentはコードを修正して結果を提出し、テストを通ればタスク完了とみなす。

この手順には自動評価として適している。しかし、測られているのは「解法」であって、完全な「エンジニアリング」ではない可能性がある。

少なくとも4つの層に分けて考える必要がある。

第1の層は要件理解だ。

Issueには「ユーザーのエクスポート失敗を修正する」とだけ書かれている。Agentは既存のテストを通すだけで、空ファイル、巨大ファイル、権限エラー、異常なエンコーディングを処理しない可能性がある。テストがカバーしていないことは、要件を満たしていないと等しいわけではない。

第2の層はコードの正確性だ。

公開テストを通過したのは、公開サンプルがアサーションを満たしただけである。隠しテストには境界条件、並行処理の不具合、既存機能の退行が含まれる可能性がある。

第3の層は保守性だ。

テストを通すために、Agentはロジックを複製し、検証を回避し、入力をハードコードし,或者は誤った抽象レイヤーで修正を集中させるかもしれない。今後に新しい要件が入っても、保守コストは増え続ける。

第4の層で初めて deliveries の(deliveries)能力になる。日本語では「第4の層はデリバリー能力だ。」

コードがコンパイルできても、デプロイできるとは限らない。デプロイできても、トラブルシュートできるとは限らない。ローカルでスクリプトが動いても、CI、コンテナ、依存バージョンの変化の中で安定して動く保証はない。

実際のソフトウェア開発は「テストを緑にする」ことだけではない。コードを読み、境界を特定し、複数モジュールを変更し、副作用を検証し、他者が理解できる変更を残す作業を含む。

したがって、Agentベンチマークは最低でも次の2点を同時に報告すべきだ。

  • タスクがテストを通過したか
  • タスクが要件どおり完了したか

前者の数字しか公開しないなら、それに近いのはコード修正競技だ。価値はあるが、実際のソフトウェア開発能力のランキングと直接呼ぶことはできない。

再現性の欠落は、スコア以上に調べるべきだ

Agentの1回の実行を評価するには、少なくとも次の変数を固定する必要がある。

変数重要な理由
モデルとバージョンAPIのモデルは静かに更新される可能性があり、同じ名前のモデルでも同じ重みとは限らない
PromptとコンテキストAgentの挙動はシステムプロンプトによって変わる可能性がある
ツール権限ネットワーク接続、リポジトリ全体の読み取り、任意コマンド実行の可否が結果に直接影響する
ツール実装shell、エディター、検索、テストツールの違いが軌跡に影響する
リポジトリのスナップショットメインブランチが変化すると、Issueと依存関係も異なり得る
依存環境Python、Node.js、コンパイラ、システムパッケージのバージョンを固定する必要がある
採点スクリプトテストの完全性とアサーションの正確性が最終スコアを左右する
再試行と予算再実行回数、token上限、時間、コストをルールに明記する必要がある

ここには非常に実際的な問題がある。

多くのAgentランキングはタスクセットと最終スコアを公開するが、完全な実行記録は公開しない。他者が見られるのは「90点」だけで、どのモデルスナップショットを使い、どのツールを呼び、どのファイルを変更し、テストを何回実行したかは分からない。

これは「ミステリー感」の問題ではない。実験設計の問題だ。

再現できない結果は、横並びの比較を担うことはできない。

より確実な方法は、各実行を構造化された記録として保存することだ。少なくともモデル設定、コンテナイメージのダイジェスト、リポジトリのcommit、ツール一覧、予算制限、最終diff、採点ログを含める。

たとえば、評価側は実行ごとにmanifestを発行できる。

{
  "task_id": "export-empty-file",
  "repository_commit": "0123456789abcdef",
  "model": "provider/model@2026-08-01",
  "system_prompt_sha256": "<64位十六进制摘要>",
  "docker_digest": "sha256:<镜像摘要>",
  "tool_permissions": ["read_repo", "edit_repo", "run_test"],
  "max_steps": 50,
  "max_cost_usd": 5.0,
  "score_script_sha256": "<64位十六进制摘要>"
}

これは、すべてのAgentに商業上の内部データ公開を求めるものではない。再現可能なサブセットを公開するだけでも、総合ランキングだけを出すより有用だ。

HNの議論がベンチマークの不備に集中した理由

この研究はHacker Newsのフロントページに載せられ、77ポイントと15件のコメントを集めた。

議論の中心は、あるモデルの勝敗ではない。ベンチマークが機能しなくなったという問題だった。

理由はDifficulty理解しやすい。開発者は日々、GitHub Issue、CIの失敗、本番環境のtraceを見ている。彼らにとって、Agentが1問を解くことと、実際のリポジトリを引き受けて対応できることは別の話だ。

公開テストにはanother典型的な問題がある。テストそのものが最適化対象になる。

Agentは評価器の形状を学習する。隠しテストは公開テストほど的直接に対抗しにくいが、それでも要件の受入検査ではない。リポジトリが大きくテストが 완전한ほど、テスト通過と正しい実装の距離は通常近い。小さく境界条件が少ないタスクでは、その距離が非常に大きくなり得る。

もう1つの問題は、タスクの難易度とAgentの能力が同時に変化する点にある。

今日はIssueを解ける,明日は検索戦略、バックエンドモデル、ツールのラッパーが変わっているかもしれない。ランキングがモデルを比較しているように見えて、実際に比較しているのはモデル、ツール、脚手架、予算の組み合わせだ。

これは、ベンチマークに価値がないことを意味しない。

統一されたタスクがなければ、Agent開発の方向性すら見定められない。ベンチマークは引き続き必要だ。ただし、資格試験ではなく実験台として扱うべきだ。

ランキングの入れ替えで問題を解かない

Agent評価の次の一手は何だろうか。

第一に、隠しテストは残すが、唯一の審判にはしない。

隠しテストは公開アサーションへの不正な最適化を抑えることができる。人の受入検査は、要件の網羅性、コード品質、副作用を確認する。両方を組み合わせ、互いに置き換えさせないことが必要だ。

第二に、過去のコードリポジトリを追加する。

タスクは実際のIssueからpreferably選び、複数コミット、関連PR、回帰テスト、古いバージョンの挙動を伴随させるべきだ。Agentが読むのは現在のディレクトリだけでなく、時間の流れを持つシステムである。

第三に、完全な軌跡を記録する。

最終diffだけでなく、ツール呼び出し、テスト出力、失敗時の再試行、判断ログも保存する。そうすることで、「Agentが問題を特定して修正した」のか、「たまたまテストに当たった」のかを区別できる。

第四に、複数回の実行結果を公開する。

単発の成功は、乱数や環境の変動を受けやすい。少なくとも実行回数、成功率、信頼区間を報告し、最高の結果だけを載せないようにする。

第五に、スコアを分解する。

テスト通過率、人の受入検査の通過率、平均コスト、平均所要時間、ツール呼び出し回数、無効な変更回数を個別に提示する。そうすれば、开发者はAgentが「より正確」なのか「より高額」なのかを判断できる。

最終ランキングは、タスク単位のレポートにするのが望ましい。

Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s

このレポートは[bool] 만큼.sexyではない。しかし、エンジニアリングチームが本当に关心的問いに答えられる。

編集者の視点

今回注目されるのは、DeepSWEのスコアだけではない。AI Agentが実際のソフトウェア開発タスクの競技に入ったことにある。そのため、議論の焦点は「モデルが説明文を書けるか」から「開発過程を検証できるか」へと移った。

过去、モデルの発表稿を見ると、 therein 精选されたサンプルが含まれると分かっていた。今、Agentのランキングを見ると、1回の実行記録を安定した能力と誤認する可能性がある。違いはそこにある。Agentの答えは一連の操作链条であり、リポジトリの状態、ツール権限、再試行戦略が終点に影響する。

だが、現時点で公開されている要約には、具体的なスコア、サンプルサイズ、再現回数、環境設定が欠けている。DeepSWEがランキングを操作したとは断言できない。次のAgentベンチマークを左右するのは、より高い総点を持つ別のランキングを投入することではなく、タスク、軌跡、失敗原因を第三者が再実行して検証できる仕組みを作ることだと考える。

出典

出典: https://maxxbench.unlap.ai/research/why-maxxbench/