9 月 18 日 CNN 独家披露一件事:美军内部一份由 AI 生成的情报报告,把目标指向一艘中国船只。后续核查发现,这艘船根本不存在。
如果这件事停在'生成了一份错误报告',那只是又一个 LLM 幻觉的日常段子。但 CNN 给它的定性是 close call — 意思是,如果人工复核那一环没拦住,后续的军事行动可能被真实触发。
这是第一个被公开的、'AI 幻觉 → 险些造成实体军事后果'的真实案例。不是模型在聊天框里胡说八道,是差点变成导弹飞出去。
Hacker News 上讨论热度 222 分 / 143 条评论。工程师社区的反应比政界还快。
为什么是 close call 而不是事故
'Close call' 这个词值得拆开看。它意味着至少有一道防线起作用了。
美军情报链路从原始数据采集到指挥官决策,中间至少有 4-5 个环节:
- SIGINT/IMINT 信号与图像采集
- AI 系统做初筛与摘要
- 分析师(analyst)人工核读
- 跨部门复核(cross-check)
- 指挥官决策
报道没明确说哪一环拦下的,但根据美军既有的 intelligence community 标准作业流程(SOP),大概率是第 3 环的分析师。他们拿到 AI 报告后会去原始数据库(各类船舶 AIS、卫星图库)做二次验证,这次查出来目标船舶 AIS 信号从未存在过。
如果那一环没拦住,比如分析师当天不在、或者时间压力下跳过了核读 — 后续的 targeting package 会进入武器系统决策流程,后果就不可逆了。
这就是 Agent 部署里最让人睡不着觉的环节:人类复核点的可靠性,直接决定了 AI 错误的爆炸半径。
幻觉问题不是技术 bug,是部署错配
社区里很多评论把锅甩给'模型会幻觉',这是错的。
LLM 在情报摘要场景天生就不适合直接产出 actionable intelligence。原因有三:
- 生成式输出的本质:LLM 的核心是 next-token prediction,不是事实检索。它会'补全'它认为合理但实际不存在的信息 — 这是 by design,不是 bug。
- 没有可追溯证据链:传统情报报告每个论断都挂证据链接(源文件 ID、采集时间、传感器类型)。LLM 输出的报告里,事实和幻觉在文本层完全无法区分。
- 置信度被语言平滑掉了:LLM 不会说'我有 30% 把握这艘船存在',它会用同样自信的语气说'该船正在驶向 X 坐标'。
把模型直接放在'产出 actionable intelligence'的位置,等于让一个天生会编故事的系统去写法院判决书。问题出在系统设计,不是模型本身。
正确的位置是:AI 做检索 + 初筛 + 候选排序,人做事实核验 + 决策。LLM 是 copilot,不是 pilot。
Agent 在高风险领域的红线
从这件事可以推导出 Agent 在高风险领域部署的 3 条硬红线。我把它做成可操作的检查清单,任何团队在做类似系统时可以对照:
红线 1:不能跳过 human-in-the-loop
Agent 产出的每一个 actionable 输出,必须经过人类签核。'签核'不是点个按钮,是人类读完整上下文并明确签字。Slack 集成里的'Approve'按钮不构成 HITL。
实现层面的最小代码 — 强制人类 review 节点:
from langgraph import StateGraph, END
from typing import TypedDict, Literal
class IntelState(TypedDict):
raw_data: list
ai_summary: str
human_approved: bool
final_report: str
def ai_summarize(state: IntelState):
summary = llm.invoke(state["raw_data"])
return {"ai_summary": summary}
def human_review(state: IntelState):
decision = wait_for_human_approval(state["ai_summary"])
return {"human_approved": decision["approved"]}
def finalize(state: IntelState):
return {"final_report": state["ai_summary"] if state["human_approved"] else "REJECTED"}
def route_after_review(state: IntelState) -> Literal["finalize", END]:
return "finalize" if state["human_approved"] else END
graph = StateGraph(IntelState)
graph.add_node("ai", ai_summarize)
graph.add_node("human", human_review)
graph.add_node("finalize", finalize)
graph.add_edge("ai", "human")
graph.add_conditional_edges("human", route_after_review)
graph.set_entry_point("ai")
app = graph.compile()
关键在 human_review 必须是同步阻塞,不能是异步 fire-and-forget。LangGraph 的设计天然适合这种流程,我在生产环境用的就是这个模式。
红线 2:幻觉检测要独立于生成模型
不要用同一个模型(或同系列模型)去检测自己输出的幻觉 — 这是常见的反模式。理想做法是:
- 用 NLI 模型(自然语言推理)做事实一致性检查
- 用 RAG 把每个断言回溯到原始数据源,验证是否真的在源文档里
- 用规则引擎校验关键字段(AIS 船 ID、坐标格式、时间戳)
红线 3:关键决策必须有可追溯证据链
每一条 actionable 结论,必须能展开看到:
- 数据来源(文件 ID、传感器、时间)
- 推理步骤(用了哪个检索、哪个 prompt)
- 置信度(系统给的,不是模型嘴上说的)
如果 AI 报告里写'该船位于 N 21° 34' E 118° 12'',系统必须能告诉你这个坐标是从哪份 AIS 数据里来的。如果回溯不出来,默认是幻觉。
美军这次的 AI 用对了哪个部分
别因为这件事就得出'AI 不能用在情报领域'的结论。
CNN 报道里美军用的是 AI 来做情报检索与初筛 — 从海量 SIGINT/IMINT 数据里挑出可疑目标,这个场景 AI 是真的好用的:
- 规模问题:每天 TB 级的信号数据,人眼看不过来,AI 做 anomaly detection 是刚需
- 模式识别:发现跨数据源的弱关联(比如这艘船的 AIS 关闭 + 同时间窗口某港口的异常通信)
- 提速:把分析师从'在 10 万条记录里找那一条'解放成'在 AI 圈出的 50 条里深挖那一条'
边界很清楚:AI 做'找什么',人做'是不是'。AI 是雷达,人是判断。雷达可以误报,但开火按钮必须在人手里。
这件事的问题不是'美军用了 AI',是'AI 的输出被允许跳过太多人工环节直接进入决策流'。这是部署错配,不是技术失败。
编辑思考
为什么这件事比 OpenAI 任何一次模型发布都重要 — 因为它第一次给'Agent 在高风险场景部署'标定了真实的价格。
之前我们讨论 AI 安全,要么是理论上的 existential risk,要么是 ChatGPT 聊天框里的无害幻觉。前者太远,后者太轻。这次不一样:有具体的报告、具体的船、具体的 close call、具体的拦截环节。真实的价格第一次被摆上桌。
我的判断(可能反共识):这件事不会显著放慢美军 AI 化的速度。原因很简单 — 竞争对手也在用 AI,停下来等于落后。所以更可能的演化是:
- 短期(6-12 个月):美军会强化 HITL 的硬性规定,要求更多签核点
- 中期(1-2 年):独立的幻觉检测模块(用 NLI + RAG 验证)会成为采购强制项
- 长期(3+ 年):会催生'AI 情报审计员'这个新职业 — 类似现在的 red team,但专门审查 AI 输出
这次具体和过去哪些事不同:和 Microsoft Tay、Facebook 聊天机器人暴走那种 PR 灾难不同,这是功能性失败,不是冒犯性失败。冒犯性失败只丢面子,功能性失败丢命。社区里 HN 评论集中在'系统设计'而不是'模型能力',说明工程师们已经意识到 — 锅不在 GPT,在把 GPT 放在那把椅子上的人。
不确定的地方:CNN 报道没披露具体是哪个 AI 系统(自研还是商用模型)、用了什么 prompt 工程、幻觉检测环节是否存在但被绕过。这些细节出来之前,我对'美军 AI 化整体部署成熟度'的判断只能保留。
但有一件事确定:任何在金融、医疗、军事领域做 Agent 的团队,这件事都该存进你们的风险登记册。下次有 PM 说'AI 直接生成报告给客户就行,人工太慢',把这条新闻甩过去。