觀點

GPT-6 真的上路了?DrivingBench 這份榜單疑點重重

在 HN 拿下 187 分的 DrivingBench,自稱是首個評測 LLM 駕駛能力的基準,還聲稱旗下的 GPT-6 Astra 已能開車。但「GPT-6」與「Astra」這兩個名字,OpenAI 從未正式承認過。

字級

HN 首頁昨天掛了一條 187 分、161 則評論的連結——DrivingBench,自稱「首個評測 LLM 駕駛能力的基準」。專案方還拋出一個重磅結論:他們的 GPT-6 Astra 模型已具備駕駛汽車的能力。

等等。

OpenAI 的產品線目前叫做 GPT-5,「GPT-6」這個名字官方從未公開,更別說「Astra」這個代號。我把這件事拆開來看了一下,裡面有幾個值得聊的重點。

DrivingBench 是什麼?

drivingbench.com 給出的定位是:把 LLM 放進端到端駕駛場景裡跑測試。

這跟 Waymo 的 Disengagement Report 那類傳統評測完全不同。Waymo 測的是自家系統的接管次數、行駛里程、仿真跑分;Tesla FSD 的安全報告則統計碰撞間隔(crashes per mile)。這些數據都來自真實車隊或仿真器。

DrivingBench 的切入角度不一樣:直接拿 LLM 當司機,看它在駕駛場景裡表現如何。測試對象是模型本身,不是自動駕駛系統。

這個角度其實不算新——學術界早就有 Bench2Drive、nuScenes、CARLA 等端到端 AD 基準。但 DrivingBench 的包裝很巧妙:它瞄準的對象不是 AD 廠商,而是 LLM 圈——讓做語言模型的人也能參與駕駛評測。

從專案描述來看,DrivingBench 主要聚焦多模態與具身智能的交集,本質上想回答的問題是:大模型能不能「具身」地理解駕駛任務?

GPT-6 Astra 到底是什麼

這是我最想吐槽的部分。

「GPT-6」——OpenAI 公開的命名順序是 GPT-4 → GPT-4o → GPT-5,中間還穿插 o1、o3 系列。「GPT-6」這個詞 OpenAI 從未在任何官方管道使用過。

「Astra」——Google 有 Astra(Project Astra),那是 Gemini 多模態助手的代號。OpenAI 的代號體系是 GPT 系列 + o 系列 + 內部代號(例如 Strawberry)。「Astra」在 OpenAI 公開資訊裡完全查不到出處。

所以「GPT-6 Astra」大概率是專案方自己編的化名,可能是為了規避真實模型的 NDA(這在第三方 benchmark 圈很常見,例如 Vellum 的 leaderboard 也用化名),也可能是純粹吸睛的 hook。

無論哪種,拿未發布的下一代模型名 + 一個無法核實的代號來做 benchmark 行銷,本身就是紅旗。讀者第一眼看到的不是 DrivingBench 的方法論,而是「GPT-6 居然能開車了」。

真實駕駛和「玩 GTA」不一樣

這是 DrivingBench 最該回答、但目前資料裡看不到的問題:這個 LLM 究竟是怎麼「開車」的?

目前 AI 圈把 LLM 跟駕駛掛鉤,主要有以下幾種玩法:

  • 在仿真器裡跑——CARLA、nuScenes 等環境,把視覺串流或 CAN 訊號丟給模型,讓它輸出方向盤轉角、油門、煞車。這是「真端到端」,但和真實世界的物理規則、感測器雜訊之間還有很大的落差。
  • 看影片做規劃——給模型一段前視攝影機影片,讓它輸出自然語言描述或高層規劃(「前面有車,變換車道」)。這是 VQA(視覺問答)模式的延伸,本質上不是開車,而是「評論開車」。
  • 接上真實 CAN bus——直接控制車輛的轉向、油門、煞車。這對延遲和可靠性的要求遠遠超過 LLM 推論速度,目前沒有量產系統敢這樣做。

DrivingBench 在首頁並未說明他們用的是哪一種。如果走的是路線 2,那「駕駛能力」這個標題就有灌水之嫌——和「GPT-5 能看圖辨識紅綠燈」根本不是同一個層級。

更關鍵的區分是:具身智能 vs 視覺問答。真正的具身代表模型要對動作後果負責,錯了就會撞車;VQA 模式下模型說錯了頂多輸出一行錯誤文字,沒有任何成本。如果 DrivingBench 的評分屬於後者,那名字再怎麼唬人也只是換皮的 VLM benchmark。

HN 評論區在吵什麼

HN 那條 161 則留言裡,爭論集中在三個點:

1. 端到端到底有多端?
有人說 LLM 開車本質上就是「AI cosplay」——你給它視覺輸入,它輸出文字描述,根本沒有形成真正的控制迴圈。除非能證明輸出直接接到車輛的執行器,否則不算端到端。

2. 測試場景夠不夠 adversarial?
傳統 AD benchmark 會刻意設計 corner case(鬼探頭、施工改道、感測器失效),但 DrivingBench 公開的樣本裡看不到類似的覆蓋。如果只是「晴天高速直線行駛」,跑分再高也不能說明問題。

3. 跑分能不能代表真實能力?
有個評論說得很直接:「benchmark 圈現在最大的問題,就是用 leaderboard 上的數字假裝能力。沒有任何人在真實場景中復現過 DrivingBench 的結論——包括那個 GPT-6 Astra。」專案的透明性問題被反覆提及。

另外也有人注意到,DrivingBench 的網域是新註冊的,團隊背景也查不到。這和 lm-evaluation-harness(由 EleutherAI 維護、屬業界標準)這類有組織支撐的專案完全不在同一個層級。

編輯思考

這件事值得寫、但又不能照單全收——這兩個判斷可以同時成立。

值得寫,是因為它代表了 AI 圈一個越來越普遍的現象:用未發布的下一代模型做 benchmark 行銷。從去年的「GPT-5 提前外洩」到現在的「GPT-6 Astra」,命名上的虛張聲勢已經成為注意力經濟的一部分。讀者看到的其實是「GPT-6」這個 IP 的價值,而不是 DrivingBench 的方法論價值。

不能照單全收,則是因為 DrivingBench 的方法論透明度不夠——「端到端」的定義、測試場景的覆蓋、模型輸出的具體形式,官網都沒說清楚。在這些硬問題被回答之前,「GPT-6 Astra 具備駕駛能力」這個結論,和 Snapchat 或 Clay 濾鏡上的「AI 開車」demo 沒有本質差別。

我的預測:接下來 6 個月,這種「未發布模型 + 熱門任務」的組合會越來越多。原因很簡單——OpenAI、Anthropic、Google 內部測的下一代模型需要 PR,但官方不會發聲;第三方團隊就抓住這個空窗期,用化名搶首發。等到真正發表的時候,benchmark 已經變成既成事實,「我們早就測過」就成了一種信用資本。

這次和過去不同的是:它觸及了 HN 首頁級別的關注(187 分不是小數字),而且碰上了「具身智能」這個 2025–2026 年的熱門敘事。Waymo 的接管數據、Figure 的家務影片、FSD 的 v13 推送——整條具身賽道都在衝 PR,DrivingBench 只不過是用更可疑的方式加入了這場遊戲。

不確定的地方:我手上沒有 DrivingBench 的完整論文、評分表或資料集。如果他們之後放出細節,證明確實是路線 1(在仿真器裡真閉環),那我可能要收回一部分質疑。但在這些東西出來之前,我會把它當成一個行銷事件,而不是一個科學事件。


引用:

來源: https://drivingbench.com/