HNのフロントページに昨日、187ポイント・コメント161件のリンクが立っていた——DrivingBench。自称「LLMの運転能力を評価する初のベンチマーク」だ。プロジェクト側はさらに爆弾的な結論を投げかけている。彼らのGPT-6 Astraモデルはすでに自動車を運転できる能力を持っているという。
ちょっと待ってほしい。
OpenAIの現行ラインナップはGPT-5であり、「GPT-6」という名称は公式には一度も公開されていない。「Astra」もおそらく違う。これを分解していくと、いくつか語るべき点が見えてくる。
DrivingBenchとは何か
drivingbench.comが掲げる位置づけはこうだ。LLMをエンドツーエンドの走行シナリオに投入してテストする。
これはWaymoのDisengagement Reportのような従来型評価とは別物である。Waymoが測るのは自社システムの介入回数・走行距離・シミュレーションスコアだし、Tesla FSDの安全レポートが集計するのは衝突間隔(crashes per mile)だ。いずれも実车队もしくはシミュレータ由来のデータである。
DrivingBenchの切り口は違う。LLMをドライバーに見立て、走行シナリオでの振る舞いを評価する。テスト対象はモデルそのものであって、自動運転システムではない。
このアプローチ自体に新規性はない。学術界にはすでにBench2Drive、nuScenes、CARLAといったエンドツーエンドAD向けベンチマークが存在する。DrivingBenchが巧妙なのは、ADベンダーを狙っているのではなくLLM界隈をターゲットにしている点だ。言語モデル畑の研究者・エンジニアも走行評価に参加できる。
プロジェクトの説明を読む限り、DrivingBenchはマルチモーダル/ embodied intelligence の交差点領域を主眼にしており、本質的にこの問いに答えようとしている。大規模モデルは運転タスクを「身体的に」理解できるのか?
GPT-6 Astraとは一体何者か
ここは本稿で一番ツッコみたい部分だ。
「GPT-6」——OpenAIの公開ネーミングはGPT-4 → GPT-4o → GPT-5で、途中o1/o3シリーズが挟まる。「GPT-6」という単語をOpenAIが公式チャネルで使ったことは一度もない。
「Astra」——AstraはGoogle側にある名称で、Project AstraすなわちGeminiのマルチモーダルアシスタントのコードネームだ。OpenAI側のコードネームはGPTシリーズ+oシリーズ+社内コード(Strawberry等)であり、公開情報で「Astra」を確認できない。
したがって「GPT-6 Astra」はおそらくプロジェクト側がこしらえた仮称だろう。NDAで縛られた実モデルの名前を避けるため(Vellumのleaderboardなど、サードパーティ系ベンチマークでは常套手段だ)、もしくは単に話題を引くフックとして。いずれにせよ、未発表の次世代モデル名+出所不明のコードネームでベンチマークをマーケティングすること自体が赤信号である。読者の視線はまず「GPT-6が運転できた」という文言に吸い寄せられ、DrivingBenchの方法論には向かない。
本物の運転と「GTAで遊ぶ」は別物
これはDrivingBenchが最も答えるべき問いであり、現状の公開資料では答えが見当たらない点だ。このLLMは実際にどうやって「運転」しているのか?
現在、AI界隈でLLMと運転を結びつけるやり方は主に次の3種類に分類できる。
1. シミュレータ内で走らせる——CARLAやnuScencesのような環境に映像ストリーム/CAN信号を流し込み、ハンドル角・アクセル・ブレーキを出力させる。いわゆる「真のエンドツーエンド」だが、現実世界の物理法則やセンサノイズとのギャップはまだ大きい。
2. 動画を見てプランニングする——前方カメラの映像を渡し、自然言語での記述や高レベルなプランニング(例:「前方に車あり、車線変更」)を出力させる。VQA(Visual Question Answering)パターンの延長であり、本質的には運転ではなく「運転の講評」である。
3. 実車CANバスに接続する——ステアリング・アクセル・ブレーキを直接制御する。LLMの推論レイテンシでは信頼性と即応性の要件を満たせず、現時点で量産システムで採用した例はない。
DrivingBenchはトップページでどの方式を使ったか明言していない。方式2だとすると「運転能力」という表題は水をふくむ。「GPT-5が画像を見て信号を識別できる」と同じレイヤーの話ではない。
さらに本質的な区分はembodied intelligence と VQA の差だ。真の embodiment は動作の結果にモデルが責任を負う——間違えれば衝突する。VQA方式では出力が誤ったテキストになってもコストはゼロ。DrivingBenchのスコアリングが後者なら、どれほどイカした名前を付けてもVLMベンチマークの皮を被せただけだ。
HNのコメント欄は何で揉めているのか
HNの該当スレッドで161件のコメントが交わされているが、論点は3つに集約される。
1. エンドツーエンドはどこまで「端」なのか
LLMに運転させるのはそもそも「AIコスプレ」だという意見がある。視覚入力を渡してテキストを返させるだけで、制御ループが形成されていない。出力車両アクチュエータに直接つながっていない限り、エンドツーエンドとは呼べない。
2. テストシナリオは十分にadversarialか
従来のADベンチマークは corner case(飛び出し・工事迂回・センサ障害)を意図的に組み込むが、DrivingBenchが公開しているサンプルにそうした網羅性は見えない。晴天の高速直進だけで走らせるなら、点数がいくら高くても意味がない。
3. スコアは実力を表すか
「今のベンチマーク界隈で最も問題なのは、leaderboard上の数字で能力を演出することだ。DrivingBenchの結論を実世界で再現した人は誰もいない——あのGPT-6 Astraも含めて」と直接的なコメントがあった。透明性のなさが繰り返し指摘されている。
他にも、DrivingBenchのドメインは取得して間もないもので、チームの来歴も追えないという指摘がある。lm-evaluation-harness(EleutherAIが維持する業界標準)のような組織的背景があるプロジェクトとは格が違う。
編集部の見解
この事案は取り上げる価値があるが、全面的に信頼できるわけではない。この2つの判断は同時に成立する。
取り上げる価値があるのは、未発表の次世代モデルを使ってベンチマークをマーケティングするというAI界隈の趨勢を象徴しているからだ。去年の「GPT-5リーク」騒動から今回の「GPT-6 Astra」まで、ネーミングの誇張はすでにアテンション経済の一部となっている。読者の目を引くのはDrivingBenchの方法論ではなく「GPT-6」というIPの価値である。
全面的に信頼できないのは、DrivingBenchの方法論の透明性が不十分なためだ。「エンドツーエンド」の定義、テストシナリオのカバレッジ、モデル出力の具体形式、いずれも公式サイトで語られていない。これらのハードな問いに答えが出そろうまで、「GPT-6 Astraは運転能力を持つ」という結論はSnapchatやClayフィルタの「AI運転」デモと大差ない。
筆者の予測では、今後6か月のうちに「未発表モデル+人気タスク」という組み合わせがさらに増える。理由は単純だ。OpenAI/Anthropic/Googleが社内でテストしている次世代モデルはPRが必要だが、公式には沈黙を守る。その隙間をサードパーティが気取った仮称で先取りする。正式発表時にはベンチマークが既成事実化し、「うち早就测试过了」が信用資本になる。
今回の事案が従来と決定的に違うのは、HNフロントページ級(187ポイントは小さくない)の話題になったこと、そして2025〜2026年のホットなナラティブである「embodied intelligence」に触れていることだ。Waymoの介入データ、Figureの家事動画、FSDのv13配信——embodied全体がPRを撃ち合いする中、DrivingBenchはより胡散臭いやり方でこのゲームに参加したに過ぎない。
不確実な部分として、DrivingBenchの完全論文・スコアシート・データセットは未確認である。今後詳細が公開され、本当に方式1(シミュレータ内の真のクローズドループ)だと示されたなら、疑念の一部は撤回する可能性がある。だがそれがない限り、本件はサイエンスの出来事ではなくマーケティングの出来事として扱う。
参考リンク: