事件始末:彭博社報導了什麼
彭博社 8 月刊出一篇長篇調查,標題相當直白——'Overreliance on AI contributed to missile strike on Iran school – Pentagon'。
核心結論是:五角大廈內部認定,這次針對伊朗學校的導彈攻擊中,操作人員對 AI 推薦存在過度依賴的情況。AI 輸出的目標建議被當成決策依據,而非僅供參考的意見。
這篇調查在 Hacker News 上獲得 142 分、65 則留言。在軍事新聞類別中,這樣的討論熱度算是相當高——HN 用戶平時對海外軍事行動並不太關心。
來源:彭博社長篇調查
自動化偏見並非新問題,但戰場版本更加致命
這起事件的技術背景叫做 automation bias。定義很單純:當資訊不足時,人傾向於服從機器給出的建議,即便自己心中存有疑慮。
這個現象並不新鮮。
- 民航領域:波音 737 MAX 的 MCAS 系統曾引發類似爭議,飛行員在異常狀況下被訓練成必須相信機器,但機器輸出的指引本身就有誤。
- 醫療 AI:2019 年一項發表於 Science 的研究指出,某商業醫療風險預測演算法對黑人患者的資源分配顯著偏低,原因是演算法學習的依據是歷史醫療支出,而非真實病情。
- 自動駕駛:Tesla Autopilot 在多起致死事故中,NTSB 報告均提及駕駛對系統的過度信任。
這些案例的共同點是:人在關鍵時刻未能反駁機器。
戰場版本的不同之處在於:沒有「重來」的機會。
民航事故中,飛行員還有以秒計的反應窗口;醫療誤診至少還有時間重新檢查。但導彈從發射到命中,時間以分鐘計算,目標一旦被摧毀便不可逆。AI 推薦只要出錯一次,代价就是數十條平民性命。
為什麼開發者社群更應該關注這件事
別以為這件事跟你寫的 CRUD 應用毫無關聯。
自動化偏見並非軍用 AI 獨有的 bug——它是你每天交付的產品中潛藏的風險。
舉幾個我親身見過的真實情境:
- LLM 程式碼審查。團隊導入 AI 進行 PR review,幾週後發現資淺工程師不再仔細看 reviewer 的意見,只要看到「AI 已通過」就直接 merge。code review 形同虛設。
- 客服機器人。直接把 LLM 生成的回覆發給使用者,未經人工覆核。結果模型在退款情境中給出超出授權的承諾,公司被薅了幾十萬。
- 推薦系統。負責營運的同事看到模型給出的轉換率預測,直接拿來編列預算,不再做小規模的流量實驗。結果模型在長尾類目上產生系統性偏誤,廣告主發現自己的預算被錯置。
我們交付的每一項產品,都在形塑使用者對 AI 的信任:
- 信心分數:要不要顯示?顯示在顯眼處還是藏在角落?
- UI 標示:AI 推薦的選項要不要加顏色、加粗、排在第一位?
- 用詞:「AI 建議」與「AI 決定」,使用者的理解差異極大。
彭博社那篇報導中,美軍操作員面對的介面,本質上和你寫的 dashboard 沒什麼差別——只是後果從「使用者點錯按鈕」變成「學校被炸」。
軍用 AI 圈的回應:沉默比爭論更能說明問題
彭博社報導出來後,我特地看了幾家頭部公司的公開聲明。
- Palantir:未見正式回應。他們的 AIP 平台對外宣傳一直強調「human-in-the-loop」。
- Anduril:Lattice 作業系統主打自主武器系統,公關口徑仍是「人在迴路」。
- Scale AI:Defense 部門未單獨發聲,僅轉發母公司關於「AI 安全」的通用聲明。
真正的反思相當稀缺。
大部分公關停留在口號層次——「human-in-the-loop」這四個字出現了上百次,但沒有人清楚定義:
- 人在哪個環節介入?
- 介入的有效性如何度量?
- 當 AI 推薦的信心度是 0.87,但操作者缺乏領域知識來反駁時,這算不算「人在迴路」?
Project Maven 當年引發 Google 員工抗議,迫使 Google 退出部分軍用合約。那次爭論至今已過十年,軍用 AI 的部署規模反而擴大了十倍。但這次伊朗校園事件,第一次有官方機構自行承認過度依賴導致平民傷亡。這個先例的份量,比任何抗議都來得重。
我們能做什麼:工程師層面的幾個具體切入點
身為工程師,我們改變不了五角大廈的採購流程,但可以把自己這一層的產品做對。
1. 信心度必須顯示,而且要夠顯眼
不要把信心度藏在 tooltip 裡。最基本的實作方式:
function RecommendationCard({ item, confidence, source }) {
return (
{item.title}
推薦來源:{source}
該推薦由 AI 產生,僅供決策參考
);
}
重點在於 <ConfidenceBar> 必須夠醒目,<caveat> 不能藏在一行小字裡。
2. 文案措辭必須謹慎
「AI 建議」、「AI 推薦」、「系統判定」——這三種措辭,使用者的服從率完全不同。
如果做過內部 A/B 測試,你會發現「系統判定」的點擊率比「AI 建議」高出 15-20%,但使用者的覆核率低了 30%。這不是 bug,這是認知偏見的具體展現。
3. 在 A/B 測試中加入反向指標
傳統 AI 產品的指標是採納率(acceptance rate)、準確率(accuracy)。
建議再加入一項:當使用者忽略 AI 建議時,正確率是多少?
如果這個數字明顯高於 50%,代表你的 AI 在某些情境下給出的建議是錯的,但使用者被 UI 推著去接受。
def evaluate_override_quality(logs):
overrides = logs.filter(action='user_overrode_ai')
correct_overrides = overrides.filter(outcome='user_was_right')
return correct_overrides.count() / overrides.count()
如果你跑出來的數字高於 0.5,就有必要重新檢視產品設計。
4. 別把 LLM 審查當萬靈丹
團隊在導入 AI code review 工具之前,先問自己:
- 它會降低人類 reviewer 的注意力嗎?
- 它給出的「建議」是否存在被盲目 merge 的風險?
- 關鍵路徑(認證、支付、資料遷移)的 PR,是否強制要求人工審查?
AI 審查在抓 typo、查規範上確實好用。但若把架構決策、權限變更也一併交給它,就是 automation bias 的溫床。
編輯觀點
這件事和過去的軍用 AI 爭議(Google 員工抗議 Project Maven、Palantir 合約爭議、AI Ethics 委員會解散)有一個本質區別:第一次有官方機構自己站出來承認,過度依賴 AI 直接導致平民傷亡。
過去所有的爭議都是由外部推動——員工抗議、國會聽證、媒體調查。這次則是五角大廈內部的 AAR(After Action Review)自己寫下的結論。這個先例意味著:責任歸屬的法律鏈條會加速成形——一旦官方承認一次,後續類似事件的被告就不能再辯稱「我們不清楚 AI 的角色」。軍用 AI 供應商會被迫提供更詳盡的稽核日誌:操作員看了哪一條建議、看了幾秒、有沒有手動覆蓋——這些資料從今以後很可能會進入法庭。民用 AI 監管也會援引這個案例,歐盟 AI Act 的高風險條款、美國各州的演算法問責立法,都可能拿這件事作為佐證。
我的判斷是:軍用 AI 的下一個分水嶺,不是技術能力,而是誰敢公開認錯。
彭博社這篇報導能否真正改變什麼,我持謹慎態度。軍事系統的採購週期是十年量級,文化慣性比技術更難撼動。但有一件事可以確定——往後任何 AI 廠商在向政府銷售產品時,合約裡大概率會多一行條款:「本系統不保證輸出正確,操作員需獨立判斷」。
這算是一種進步,但進步得非常有限。