美軍 AI 情報出包:鎖定一艘根本不存在的中國船
9 月 18 日 CNN 獨家披露一件事:美軍內部一份由 AI 生成的情報報告,把目標指向一艘中國船隻。後續核查發現,這艘船根本不存在。
如果這件事停在「生成了一份錯誤報告」,那就只是又多一個 LLM 幻覺的茶餘飯後。但 CNN 給它的定性是 close call,意思是,如果人工複核那一關沒攔下來,後續的軍事行動可能被真實觸發。
這是第一個被公開的、「AI 幻覺 → 險些釀成實體軍事後果」的真實案例。不是模型在聊天視窗裡胡說八道,是差點變成飛彈射出去。
Hacker News 上討論熱度 222 分 / 143 則留言。工程師社群的反應比政界還快。
為什麼是 close call 而非事故
「close call」這個詞值得拆開看。它意味著至少有一道防線起作用了。
美軍情報鏈從原始資料採集到指揮官決策,中間至少有 4 到 5 個環節:
- SIGINT/IMINT 訊號與影像蒐集
- AI 系統做初篩與摘要
- 分析師(analyst)人工核讀
- 跨部門複核(cross-check)
- 指揮官決策
報導沒明確說是哪一關攔下的,但依據美軍既有的 intelligence community 標準作業流程(SOP),大概率是第三關的分析師。他們拿到 AI 報告後會回原始資料庫(各類船舶 AIS、衛星圖庫)做二次驗證,這次查出目標船舶 AIS 訊號從未存在。
如果那一關沒攔住,例如分析師當天不在、或時間壓力下跳過核讀,後續的 targeting package 就會進入武器系統決策流程,後果就不可逆了。
這就是 Agent 部署中最讓人睡不著覺的環節:人類複核點的可靠度,直接決定 AI 錯誤的爆炸半徑。
幻覺問題不是技術 bug,是部署錯配
社群裡很多留言把鍋甩給「模型會幻覺」,這說法站不住腳。
LLM 在情報摘要場景天生就不適合直接產出 actionable intelligence。原因有三:
- 生成式輸出的本質:LLM 的核心是 next-token prediction,不是事實檢索。它會「補完」它認為合理但實際上不存在的資訊 ── 這是 by design,不是 bug。
- 沒有可追溯的證據鏈:傳統情報報告每個論斷都掛著證據連結(來源檔 ID、蒐集時間、感測器類型)。LLM 輸出的報告裡,事實和幻覺在文字層完全無法區分。
- 置信度被語言平滑掉了:LLM 不會說「我有 30% 把握這艘船存在」,它會用同樣自信的語氣說「該船正駛向 X 座標」。
把模型直接放在「產出 actionable intelligence」的位置,等於讓一個天生會編故事的系統去寫法院判決書。問題出在系統設計,不是模型本身。
正確的位置是:AI 做檢索 + 初篩 + 候選排序,人做事實核驗 + 決策。LLM 是 copilot,不是 pilot。
Agent 在高風險領域的紅線
從這件事可以推導出 Agent 在高風險領域部署的 3 條硬紅線。我把它做成可操作的檢查清單,任何團隊在做類似系統時可以逐項對照:
紅線 1:不能跳過 human-in-the-loop
Agent 產出的每一個 actionable 輸出,都必須經過人類簽核。「簽核」不是按個按鈕,是人類讀完整上下文並明確簽字。Slack 整合裡的「Approve」按鈕不構成 HITL。
實作層面的最小程式碼 ── 強制人類 review 節點:
from langgraph import StateGraph, END
from typing import TypedDict, Literal
class IntelState(TypedDict):
raw_data: list
ai_summary: str
human_approved: bool
final_report: str
def ai_summarize(state: IntelState):
summary = llm.invoke(state["raw_data"])
return {"ai_summary": summary}
def human_review(state: IntelState):
decision = wait_for_human_approval(state["ai_summary"])
return {"human_approved": decision["approved"]}
def finalize(state: IntelState):
return {"final_report": state["ai_summary"] if state["human_approved"] else "REJECTED"}
def route_after_review(state: IntelState) -> Literal["finalize", END]:
return "finalize" if state["human_approved"] else END
graph = StateGraph(IntelState)
graph.add_node("ai", ai_summarize)
graph.add_node("human", human_review)
graph.add_node("finalize", finalize)
graph.add_edge("ai", "human")
graph.add_conditional_edges("human", route_after_review)
graph.set_entry_point("ai")
app = graph.compile()
關鍵在 human_review 必須是同步阻塞,不能是 async fire-and-forget。LangGraph 的設計天生就適合這種流程,我自己在生產環境用的就是這個模式。
紅線 2:幻覺偵測要獨立於生成模型
不要用同一個模型(或同系列模型)去偵測自己輸出的幻覺 ── 這是常見的反模式。理想做法是:
- 用 NLI 模型(自然語言推理)做事實一致性檢查
- 用 RAG 把每個斷言回溯到原始資料源,驗證是否真的在來源文件裡
- 用規則引擎校驗關鍵欄位(AIS 船 ID、座標格式、時間戳記)
紅線 3:關鍵決策必須有可追溯證據鏈
每一條 actionable 結論,都必須能展開看到:
- 資料來源(檔案 ID、感測器、時間)
- 推論步驟(用了哪個檢索、哪個 prompt)
- 置信度(系統給的,不是模型嘴上說的)
如果 AI 報告裡寫「該船位於 N 21° 34' E 118° 12'」,系統必須能告訴你這個座標是從哪份 AIS 資料來的。如果回溯不出來,預設就是幻覺。
美軍這次的 AI 用對了哪個部分
別因為這件事就得出「AI 不能用在情報領域」的結論。
CNN 報導裡美軍用的是 AI 來做情報檢索與初篩 ── 從海量 SIGINT/IMINT 資料裡挑出可疑目標,這個場景 AI 確實好用:
- 規模問題:每天 TB 等級的訊號資料,人眼看不完,AI 做 anomaly detection 是剛需
- 模式識別:發現跨資料源的弱關聯(例如這艘船的 AIS 關閉 + 同時間窗口某港口的異常通訊)
- 提速:把分析師從「在 10 萬條紀錄裡找那一條」解放成「在 AI 圈出的 50 條裡深挖那一條」
界線很清楚:AI 做「找什麼」,人做「是不是」。AI 是雷達,人是判斷。雷達可以誤報,但開火按鈕必須在人手上。
這件事的問題不是「美軍用了 AI」,而是「AI 的輸出被允許跳過太多人工環節,直接進入決策流」。這是部署錯配,不是技術失敗。
編輯思考
為什麼這件事比 OpenAI 任何一次模型發佈都重要 ── 因為它第一次替「Agent 在高風險場景部署」標定了真實的代價。
之前我們討論 AI 安全,要嘛是理論上的 existential risk,要嘛是 ChatGPT 聊天框裡的無害幻覺。前者太遠,後者太輕。這次不一樣:有具體的報告、具體的船、具體的 close call、具體的攔截環節。真實的代價第一次被擺上桌。
我的判斷(可能反共識):這件事不會顯著放慢美軍 AI 化的速度。原因很單純 ── 競爭對手也在用 AI,停下來等於落後。所以更可能的演變是:
- 短期(6 到 12 個月):美軍會強化 HITL 的硬性規定,要求更多簽核點
- 中期(1 到 2 年):獨立的幻覺偵測模組(用 NLI + RAG 驗證)會成為採購強制項
- 長期(3 年以上):會催生「AI 情報稽核員」這個新職業 ── 類似現在的 red team,但專門審查 AI 輸出
這次具體和過去哪些事不同:跟 Microsoft Tay、Facebook 聊天機器人暴走那種 PR 災難不同,這是功能性失敗,不是冒犯性失敗。冒犯性失敗只丟面子,功能性失敗丟命。社群裡 HN 留言集中在「系統設計」而非「模型能力」,代表工程師們已經意識到 ── 鍋不在 GPT,在把 GPT 放在那把椅子上的人。
不確定的部分:CNN 報導沒揭露具體是哪個 AI 系統(自研還是商用模型)、用了什麼 prompt 工程、幻覺偵測環節是否存在但被繞過。這些細節出來之前,我對「美軍 AI 化整體部署成熟度」的判斷只能保留。
但有一件事是確定的:任何在金融、醫療、軍事領域做 Agent 的團隊,這件事都該存進你們的風險登記冊。下次有 PM 說「AI 直接生成報告給客戶就好,人工太慢」,把這條新聞甩過去。