Terminal-Bench は以前からお馴染みだろう。これまでは Agent がターミナル環境でコードを書き、コマンドを叩く能力、つまり一般的なプログラミング課題をこなせるかを見てきた。ただ、フレームワークの設計者たちはそこに満足していない様子で、「コードが書けるかどうか」ではもはや Agent の差は測れず、本当の分岐点は「科学研究のワークフロー全体を回せるか」だと考えている。
そこで登場したのが Terminal-Bench-Science だ。AI Agent を科学研究ワークフローの中で評価することに特化している。ゼロから新しい枠組みを作るのではなく、既存の Terminal-Bench を拡張し、「ソートアルゴリズムを書く」から「バイオインフォマティクス論文の結果を再現する」へタスクシーンを切り替えている。
公開初日に Hacker News のフロントページに載り、20ポイントと4件のコメントを獲得した。新しいベンチマークとしては、まずまずの滑り出しと言える。
このベンチマークは何を測るのか
まず Terminal-Bench-Science と SWE-bench、GAIA の違いを整理しておく。
SWE-bench は GitHub issue を読んでコードを修正し、バグを直す Agent の能力を測る。入力は issue description とコードリポジトリ、出力は patch だ。GAIA はもう少し汎用的で、「多段階の推論+ツール呼び出し」を要する日常的な問いを Agent が解けるかを見ている。
Terminal-Bench-Science はそこが違う。測りたいのは Agent が科学研究のワークフローを最初から最後まで回しきれるかどうかだ。論文を読む → データを探す → 環境を構築する → コードを書く → 実験を回す → エラーを処理する → 結果を出す → 解釈する。どの工程でつまずいても失敗する。
公開ページの言葉を借りれば「我々が測っているのは単一能力ではなく、エンドツーエンドのワークフローだ」ということだ。つまりタスク設計の狙いは、Agent の isolated なスキルが何点取れるかではなく、実研究シーンで物事を成し遂げられるかにある。
タスクの実際:80以上のリアルな研究課題
ベンチマークには80以上のタスクが揃い、3つの領域をカバーしている。
- 生物学:遺伝子配列解析、タンパク質フォールディング結果の処理、シングルセル sequencing データの可視化
- 材料科学:結晶構造計算、第一原理シミュレーションのスクリプト作成
- 機械学習:論文の実験再現、benchmark のスコア測定、データセットのクリーニング
どのタスクも「関数を一本書く」なんてレベルではなく、サンドボックスのターミナルで数十ステップ連続操作してようやく完了する規模だ。サンプルをいくつか確認したところ、平均して 20〜50 回の shell コマンドと Python コード、ファイル読み書きが必要だった。
タスクの出所がユニークで、多くは実研究シーンから抽出されたものだ。わざわざ設計した benchmark puzzle ではない。この点は重要だ。多くの Agent 評価は「タスクが玩具すぎる」と批判されてきたが、Terminal-Bench-Science は少なくとも「リアルさ」の項目では減点されない。
例を一つ挙げよう(具体的なタスク記述は announcement ページから)。
タスク:公開されている scRNA-seq データセットから出発し、論文の Figure 3 の UMAP クラスタリング図を再現する。Agent は自力でデータソースを見つけ、scanpy をセットアップし、pipeline を整え、メモリ不足を処理した上で、比較可能な図を出力する必要がある。
人間が何時間もかかる作業を、Agent 相手に任せるのだから、それなりの難題だ。
現行モデルの成績:「実用的な研究助手」まであと何歩
公開ページに載った初期結果はなかなか手厳しい。
主要な Agent の Science サブセットでの正答率は軒並み振るわない。完全な表は確認できなかったが、ページ記載を見る限り、SWE-bench で 60%以上を出しているこれらのモデルと比べればかなり低い。
GPT-5、Claude 4.5、Gemini 2.5 いずれも走らせており、軒並み「惊艳」と呼ぶに値しない結果だ。頻出する失敗パターンは次のとおり。
- 環境構築でいきなり詰まる──科学計算は依存関係が複雑で、conda 環境、CUDA バージョン、Python パッケージのバイナリ互換、どれ一つ崩れても Agent は堂々巡りになる
- 長距離タスクの途中で目的を見失う──30 ステップ目あたりで、1 ステップ目に何をやりたかったか忘れる
- エラーメッセージが読めない──科学ツールのエラーは冗長になりがちで、Agent が要点を掴めない
これは「モデルがダメ」という話ではない。示しているのは科学研究ワークフローの複雑さは、コード記述より一段上だという現実だ。
コード記述ならパターンマッチで何とかなる。だが研究実験を回すには、Agent が領域知識、ツールスタック、データフォーマット、統計的な意味を同時に理解する必要がある。もはや純粋なコーディング能力の話ではない。
なぜこのタイミングなのか
2026 年の Agent 評価にはっきりした潮流がある。「コードが書けるか」から「リアルな課題を解決できるか」へ軸足が移っている。
主なマイルストーンは次のとおり。
- MLE-Bench:Kaggle コンペのエンドツーエンド再現
- LAB-Bench:生物実験の設計と解釈
- ScienceBoard:マルチモーダル科学推論
Terminal-Bench-Science はこの系譜上にある一つのピースだが、違いは「ターミナルネイティブ」な点だ。Agent は制御された API ラッパーの中でボタンをクリックするのではなく、実コマンドライン環境でタスクを完遂しなければならない。現実の研究者の作業環境がターミナルそのものだからこそ、この点は重要だ。
もちろん明確な制約もある。
- タスク規模は 80 以上。SWE-bench の 2000 以上よりひと桁少ない
- 領域カバーがまだ狭い──生物学、材料、ML のみで、化学、物理、地球科学は手つかず
- 評価指標が単一で、「完全成功」と「部分成功」が区別されていない
この段階で「Terminal-Bench-Science は科研 Agent の SWE-bench だ」と断じるのは早い。
編集部の所感
这类ベンチマークの最大の価値はランキングではなく、Agent のリアルな弱点を白日の下に晒すことだ。
Terminal-Bench-Science について見えてきたのは、「また SOTA を競うテスト」ではなく、意図的に拡大表示された三つの痛みだ。
- 長距離推論のもろさ:30 ステップを超えるワークフローでは、Agent はほぼ必ず脱線する。単発の推論能力が低いのではなく、「複数ステップの推論をつなげる」仕組みが本質的に解決していない。
- ツール呼び出しの耐障害性:科学ツールスタックは文字ひとつ間違えると全く動かなくなる。Agent には「フォールバック+巻き戻し+経路切替」の戦略が欠けている。
- 科学常識の欠落:失敗の原因はコードの誤りではなく、「この領域ではこうやるのが誤り」という知識がないケース。コードは通っても、物理的に意味のない結果が出る。
SWE-bench で 1% 競うより、研究コミュニティに求められているのは「ツールを使える」と「本当に研究を理解している」を切り分けるテストだ。Terminal-Bench-Science はその方向へ一歩踏み出したが、タスク規模と領域カバーはまだ小さく、確たる結論は 6〜12 ヶ月先になる。
筆者の予測では、今後 12 ヶ月のうちに少なくとも 3 つの類似した「領域ネイティブ benchmark」(化学、地球科学、天文)が登場するだろう。その価値はモデルにスコアを付けることではなく、Agent を「プログラミングツール」から「研究ツール」へ進化させる圧力にある。