의견

GPT-6가 진짜 차를 몰아? DrivingBench라는 벤치마크가 좀 수상하다

HN 1페이지에 187점으로 올라온 DrivingBench는 자칭 LLM 운전 능력 평가용 최초 벤치마크다. 그런데 GPT-6 Astra라는 이름은 OpenAI가 한 번도 언급한 적 없는 모델이다.

글자 크기

어제 HN 1페이지에 187점, 댓글 161개짜리 링크가 걸렸다 — DrivingBench. "LLM 운전 능력을 평가하는 최초의 벤치마크"라고 스스로를 소개한다. 프로젝트 측은 한 가지 대단한 결론까지 내놓았다. 자사의 GPT-6 Astra 모델이 이미 자동차를 운전할 능력을 갖추었다고.

잠깐.

현재 OpenAI 제품군에서 공식적으로 쓰이는 이름은 GPT-5까지다. "GPT-6"라는 이름은 어디에서도 공개된 적이 없고, "Astra"라는 코드네임은 더더욱 그렇다. 관련 내용을 좀 뜯어봤는데, 이야기할 거리가 몇 가지 나왔다.

DrivingBench가 뭔데?

drivingbench.com에서 제시한 포지셔닝은 이렇다. LLM을 end-to-end 운전 시나리오에 직접 넣고 테스트한다는 것.

이건 Waymo의 Disengagement Report 같은 전통적 평가와는 결이 다르다. Waymo는自家 시스템의 인수개입 횟수, 주행거리, 시뮬레이션 점수를 측정하고, Tesla FSD 안전 보고서는 마일당 충돌 횟수(crashes per mile)를 집계한다. 이런 데이터는 전부 실제 차량 fleet이나 시뮬레이터에서 나온다.

DrivingBench의 접근법은 다르다. LLM을 곧장 운전자처럼 두고, 운전 상황에서 어떻게 행동하는지를 본다. 테스트 대상은 자율주행 시스템이 아니라 모델 그 자체다.

이런 시도가 처음인 건 아니다 — 학계에는 이미 Bench2Drive, nuScenes, CARLA 같은 end-to-end AD 벤치마크가 있다. 다만 DrivingBench의 포장 방식이 영리한 건, AD 업체가 아니라 LLM 커뮤니티를 겨냥한다는 점이다. 언어 모델 쪽 사람들도 운전 평가에 끌어들이겠다는 뜻이다.

프로젝트 설명을 보면 DrivingBench는 주로 멀티모달 / embodied intelligence 교차 영역에 초점을 맞추고 있으며, 본질적으로 다음 질문에 답하려 한다. 대형 모델이 운전 과업을 "embodied"하게 이해할 수 있는가?

GPT-6 Astra는 정체불명

이 부분이 가장 짚고 넘어가고 싶은 대목이다.

"GPT-6" — OpenAI의 공개 네이밍은 GPT-4 → GPT-4o → GPT-5, 중간에 o1 / o3 시리즈가 있다. "GPT-6"라는 단어는 OpenAI가 어느 공식 채널에서도 사용한 적이 없다.

"Astra" — Google에는 Astra(Project Astra)가 있다. Gemini 멀티모달 어시스턴트의 코드네임이다. OpenAI의 코드네임은 GPT 시리즈 + o 시리즈 + 내부 코드네임(예: Strawberry) 정도다. "Astra"는 OpenAI 공개 정보 어디에서도 찾아볼 수 없다.

따라서 "GPT-6 Astra"는 프로젝트 측이 자체적으로 지은 가명일 가능성이 높다. 실제 모델의 NDA를 피하려고 그랬을 수도 있고(Vellum의 leaderboard처럼), 어그로용 hook일 수도 있다.

어느 쪽이든 공개되지 않은 차세대 모델 이름에다 출처를 확인할 수 없는 코드네임을 얹어서 벤치마크를 마케팅하는 것 자체가 레드 플래그다. 독자가 처음 보는 건 DrivingBench의 방법론이 아니라 "GPT-6가 차를 몰게 됐다"는 헤드라인이다.

진짜 운전과 "GTA 플레이"는 다르다

DrivingBench가 가장 먼저 답해야 하지만, 현재 자료에서는 확인할 수 없는 부분이 있다. 이 LLM은 구체적으로 어떻게 "운전"을 하는가?

지금 AI 커뮤니티에서 LLM과 주행을 연결짓는 방식은 크게 몇 가지다.

  1. 시뮬레이터에서 돌리기 — CARLA, nuScenes 같은 환경에서 영상 스트림 / CAN 신호를 모델에 넣고 스티어링 각도, 액셀, 브레이크를 출력하게 한다. 이게 "진짜 end-to-end"에 가깝지만, 실제 물리 법칙과 센서 노이즈와의 갭이 아직 크다.
  2. 영상을 보고 계획 세우기 — 전방 카메라 영상 한 클립을 주고 자연어 설명 / 상위 레벨 플래닝("앞에 차가 있으니까 차선 변경")을 출력하게 한다. VQA(Visual Question Answering) 패턴의 확장으로, 본질은 운전이 아니라 "운전에 대해 코멘트하기"다.
  3. 실제 CAN 버스에 연결 — 차량의 스티어링, 액셀, 브레이크를 직접 제어한다. LLM 추론 속도보다 훨씬 낮은 지연과 높은 신뢰성이 필요한데, 현재 양산 시스템 중 이렇게 하는 곳은 없다.

DrivingBench는 홈페이지에서 이 중 어느 방식을 쓰는지 밝히지 않았다. 2번 방식을 따른다면 "운전 능력"이라는 타이틀은 좀 부풀려진 거다. "GPT-5가 이미지에서 신호등을 인식한다"와는 차원이 다른 이야기다.

더 본질적인 구분은 embodied intelligence vs VQA다. 진짜 embodied는 모델이 행동의 결과에 책임을 진다는 뜻이고, 틀리면 사고가 난다. VQA 모드에서는 모델이 틀려봐야 틀린 텍스트만 나올 뿐 비용이 없다. DrivingBench의 채점이 후자라면, 이름이 아무리 있어 보여도 결국 VLM 벤치마크의 리브랜딩이다.

HN 댓글에서는 뭘 싸우나

HN 스레드의 댓글 161개는 크게 세 쟁점에 모여 있었다.

1. End-to-end가 정말 end-to-end인가?
어떤 사람은 LLM 운전 자체가 "AI 코스프레"라고 했다. 영상 입력을 넣으면 텍스트 설명을 뱉을 뿐, 제어 루프가 형성되지 않는다. 출력값이 차량 액추에이터에 바로 연결된다는 증거가 없으면 end-to-end라고 부를 수 없다는 주장이다.

2. 테스트 시나리오가 충분히 adversarial인가?
전통적인 AD 벤치마크는 의도적으로 corner case(갑자기 튀어나오는 보행자, 공사 구간 우회, 센서 장애)를 설계한다. DrivingBench가 공개한 샘플에서는 이런 커버리지가 보이지 않는다. "맑은 날 고속도로 직진"만 가지고는 아무리 점수가 높아도 별 의미가 없다.

3. 점수가 실제 능력을 대표할 수 있는가?
어느 댓글의 표현이 적확했다. "지금 벤치마크계의 가장 큰 문제는 leaderboard 숫자를 능력처럼 포장하는 것이다. DrivingBench의 결론을 실제 환경에서 재현한 사람은 아무도 없다 — GPT-6 Astra 포함해서." 프로젝트 투명성 문제가 계속 지적됐다.

또 DrivingBench의 사이트 도메인이 최근에 등록됐고 팀 배경을 확인할 수 없다는 의견도 나왔다. lm-evaluation-harness(EleutherAI가 관리하는 업계 표준)처럼 조직적 뒷배경이 있는 프로젝트와는 급이 다르다는 얘기다.

편집자의 생각

이건 적어볼 만하지만 그대로 믿을 수는 없다 — 두 가지 판단이 동시에 성립한다.

적어볼 만한 이유는, AI 커뮤니티에서 점점 흔해지는 현상을 보여주기 때문이다. 공개되지 않은 차세대 모델을 벤치마크 마케팅에 활용하는 것.去年的 "GPT-5 사전 유출"부터 최근의 "GPT-6 Astra"까지, 이름값을 부풀리는 행위는 어텐션 경제의 일부가 됐다. 독자가 보는 건 DrivingBench의 방법론이 아니라 "GPT-6"라는 IP 가치다.

그대로 믿을 수 없는 이유는, DrivingBench의 방법론이 충분히 투명하지 않기 때문이다. "End-to-end"의 정의, 테스트 시나리오 커버리지, 모델 출력의 구체적 형태 — 공식 사이트 어디에서도 분명히 설명하지 않는다. 이런 핵심 질문들이 해소되기 전에는, "GPT-6 Astra가 운전 능력을 갖추었다"라는 결론은 Snapchat / Clay 필터 위의 "AI 운전" 데모와 본질적으로 다를 바 없다.

내 예측은 이렇다. 앞으로 6개월 동안 "미공개 모델 + 화제 작업" 조합은 더 늘어날 것이다. 이유는 단순하다. OpenAI / Anthropic / Google 내부에서 테스트하는 차세대 모델은 PR이 필요한데 공식 채널은 입을 닫고 있다. 서드파티 팀이 그 틈을 노려 가명으로 선점,抢先發表하는 식이다. 정식 발표 시점이 되면 벤치마크는 기정사실이 되고, "우리는 이미 평가했다"는 일종의 신용 자본이 된다.

이번 사건이 과거 사례와 다른 점은, HN 1페이지급 이벤트라는 것(187점은 적지 않은 숫자이다)과 2025-2026년의 화제 서사인 "embodied intelligence"를 건드렸다는 것이다. Waymo의 인수개입 데이터, Figure의 집안일 영상, FSD v13 배포 — embodied 트랙 전체가 PR을 쏟아내는 와중에 DrivingBench는 그보다 더 의심스러운 방식으로 이 게임에 끼어든 셈이다.

확실하지 않은 부분: DrivingBench의 논문 / 채점표 / 데이터셋을 확보하지 못했다. 향후 상세 자료가 공개돼서 실제로 1번 방식(시뮬레이터에서 진짜 closed-loop)임이 입증된다면, 의심의 일부를 철회해야 할 수도 있다. 하지만 그 전까지는 이 프로젝트를 과학적 사건이 아니라 마케팅 이벤트로 분류하겠다.


참고 링크:

출처: https://drivingbench.com/