Cognition の SWE-2 が Terminal-Bench 2.1 で 92.8 を記録した。情報源は第三者評価サイトの tokenstead.ai で、Cognition 公式ではない。Hacker News の該当スレッドは 29 ポイント・コメント 12 件と、やや低調な盛り上がりだった。
数字そのものは本物だ。ただし気になる点もある。以下、分解して見ていく。
92.8 というスコアは何を意味するか
Terminal-Bench 2.1 は単なるコード生成ベンチマークではない。実際の Linux shell 環境で、エージェントが複数ステップのタスクをこなす──依存パッケージのインストール、テスト実行、バグ修正、パッチのコミットまで──を要求する。つまり「コードが書けるか」ではなく「ジュニアエンジニアのようにターミナルで仕事ができるか」を測るテストだ。
92.8 はどの程度の水準か。Terminal-Bench の SOTA はそれまで 80 点前後で、Claude Code、GPT-5、Devin 1.x がいずれもその付近に並んでいた。92.8 は小幅な改善ではなく、明確に一段上のジャンプだ。
ただし注意が必要だ。Terminal-Bench のタスクセットは公開されている。クローズドなモデルが这套のテストで高スコアを出しても、学習データに「類似問題が含まれていた」可能性を排除し切れない。この数字は、能力の上限を示す指標であって、実務での生産性を証明するものではない。
人間のエンジニアのレベルにどの程度近いか──Terminal-Bench の人間ベースラインの信頼できる数値は、筆者の確認した範囲では見つからなかった。もし情報があれば指摘してほしい。
このスコアに対する 3 つの疑念
疑念 1:情報源が第三者である
tokenstead.ai とは何者か。第三者のモデル評価サイトだ。Cognition をひいきする義務もなければ、点数を低く抑える動機もない。一方で Terminal-Bench の公式でもない。この「非公式の公式データ」という位置づけは、信頼度を加減して見る必要がある。
疑念 2:クローズドモデルかつ再現不可能
SWE-2 はオープンソースではない。第三者がアクセスできるのは API 呼び出しの結果だけで、重みも学習データもプロンプトテンプレートも公開されていない。これにより、
- 同一条件での再現ができない
- 「ラッパー」や「蒸留モデル」ではないかを検証できない
- Terminal-Bench に最適化した作り込みが行われていないかを検証できない
という問題が残る。
疑念 3:再現に必要な材料が未公開
Cognition 公式は完全な評価ログ・プロンプト・ツールチェーン設定を公開しているだろうか。HN スレッド(HN item?id=49646778)の時点で見当たらない。もし Cognition がこのスコアを重視しているなら、公開できるものはすべて公開すべきだ。
要因はモデルか、ツールか、それともエンジニアリングの仕組みか
Devin 1.0 の時代、Cognition は「基盤モデル + エージェントフレームワーク」という構成を取っていた。SWE-2 の 92.8 というスコアは、モデル単体の力だけではないはずだ。
考えられる改善の方向性は 3 つある。
- Shell 状態管理がより安定している
エージェントが多ステップタスクでつまずく最大の原因は状態だ。一つ前のコマンドで環境変数が変わり、次のコマンドが落ちる。SWE-2 がより信頼性の高い shell sandbox(Anthropic の sandboxed bash や Docker 隔離に類するもの)を備えていれば、スコアは直接跳ね上がる。 - エラー回復の仕組みがより賢い
すべての失敗を再試行すべきではなく、またすべての失敗を諦めてもいけない。優れたエージェントは transient error(ネットワークの揺れやタイムアウト)と permanent error(ロジック誤りやコンパイル失敗)を区別し、それぞれに応じた回復戦略を選べる。 - コンテキスト圧縮がより大胆
長尺タスクではコンテキストがすぐに溢れれる。SWE-2 はより思い切った切り詰めや要約戦略を採用している可能性がある。現在のタスクに関連する履歴だけを残し、ノイズを捨てていく。
これらの改善は派手さに欠けるが、エージェントが本当に仕事ができるかどうかを決める本質的な部分だ。
Hacker News が盛り上がらなかった理由
29 ポイント・コメント 12 件は、「Terminal-Bench 2.1 の SOTA 更新」としては低い反応だ。原因は 3 つ考えられる。
- コミュニティの信頼が尽きかけている
Cognition は Devin の商用化で賛否を呼んできた。初期デモと実利用体験のギャップが大きく、落胆したユーザーもいる。その感情は SWE-2 の議論にも持ち越される。 - クローズドなエージェント評価には構造的な限界がある
HN の技術層は「オープンソースで再現可能」を重視する傾向がある。クローズドモデルがクローズドなベンチで高得点を取っても、議論の余地は限定的だ。 - ベンチマーク疲れ
AI ベンチ界隈はここ数年で過密状態だ。毎週のように「X モデルが Y ベンチを制覇」というニュースが流れ、もはや感覚がマヒしている。Terminal-Bench 自体もコミュニティ内の一番注目されるベンチではなく、注目度には天井がある。
編集部の視点
第三者ベンチマークと公式発表の比重は、第三者へ傾きつつある。以前は OpenAI や Anthropic の公式ベンチ結果をそのまま信じる空気だったが、今は独立して再現可能な第三者データを求める声が増えている。Cognition が今回、独自ブログではなく tokenstead.ai 経由を選んだのは、このトレンドの表れかもしれない。
クローズドなエージェント評価の信頼危機が、より深い論点だ。モデルのクローズド化自体はビジネス上の判断として問題ない。しかし、評価手法は公開されるべき、プロンプトは公開されるべき、ツールチェーンは監査可能であるべき。それがなければ 92.8 と 92.8 の比較ができず、数字は単なる数字で終わる。
AI ソフトウェアエンジニア領域への影響を整理する。もし SWE-2 が本当に 90 点台で安定するなら、Devin の商用化ストーリーは再び支えられるだろう。「AI ソフトウェアエンジニア」は PPT 上の概念ではなく、ようやく実用に近い道具になる。ただし、独立検証が追いつくことが前提だ。個人的には中立、やや懐疑的な立場だ。単一ベンチの高スコアからエンドツーエンドの実用にいたるまでには、まだプロダクト、UX、安定性の三つのハードルが横たわっている。
過去のパターンと何が違うか。GPT-5 や Claude 4.5 のような「公式発表 + 全網沸騰」とは違う。今回は第三者からの小規模な伝播というルートを取っている。公式が先出しを競わなくなり、第三者の検証を待つという流れ。これが新常態になるかもしれない。
不確実な点:Terminal-Bench のタスクセットが新一代エージェントに「読まれ尽くされ」、スコアインフレが起きる可能性はあるか。これについては答えが出せず、推移を見守るしかない。