实战

美军 AI 情报闹乌龙:中国船只根本不存在

9/18 CNN 独家:美军 AI 生成的情报报告出现幻觉,目标是一艘根本不存在的中国船只。这是首个公开的'AI 幻觉险些造成实体军事后果'案例,做 Agent 的团队都该存进风险登记册。

字号

9 月 18 日 CNN 独家披露一件事:美军内部一份由 AI 生成的情报报告,把目标指向一艘中国船只。后续核查发现,这艘船根本不存在。

如果这件事停在'生成了一份错误报告',那只是又一个 LLM 幻觉的日常段子。但 CNN 给它的定性是 close call — 意思是,如果人工复核那一环没拦住,后续的军事行动可能被真实触发。

这是第一个被公开的、'AI 幻觉 → 险些造成实体军事后果'的真实案例。不是模型在聊天框里胡说八道,是差点变成导弹飞出去。

Hacker News 上讨论热度 222 分 / 143 条评论。工程师社区的反应比政界还快。

为什么是 close call 而不是事故

'Close call' 这个词值得拆开看。它意味着至少有一道防线起作用了。

美军情报链路从原始数据采集到指挥官决策,中间至少有 4-5 个环节:

  1. SIGINT/IMINT 信号与图像采集
  2. AI 系统做初筛与摘要
  3. 分析师(analyst)人工核读
  4. 跨部门复核(cross-check)
  5. 指挥官决策

报道没明确说哪一环拦下的,但根据美军既有的 intelligence community 标准作业流程(SOP),大概率是第 3 环的分析师。他们拿到 AI 报告后会去原始数据库(各类船舶 AIS、卫星图库)做二次验证,这次查出来目标船舶 AIS 信号从未存在过。

如果那一环没拦住,比如分析师当天不在、或者时间压力下跳过了核读 — 后续的 targeting package 会进入武器系统决策流程,后果就不可逆了。

这就是 Agent 部署里最让人睡不着觉的环节:人类复核点的可靠性,直接决定了 AI 错误的爆炸半径。

幻觉问题不是技术 bug,是部署错配

社区里很多评论把锅甩给'模型会幻觉',这是错的。

LLM 在情报摘要场景天生就不适合直接产出 actionable intelligence。原因有三:

  • 生成式输出的本质:LLM 的核心是 next-token prediction,不是事实检索。它会'补全'它认为合理但实际不存在的信息 — 这是 by design,不是 bug。
  • 没有可追溯证据链:传统情报报告每个论断都挂证据链接(源文件 ID、采集时间、传感器类型)。LLM 输出的报告里,事实和幻觉在文本层完全无法区分。
  • 置信度被语言平滑掉了:LLM 不会说'我有 30% 把握这艘船存在',它会用同样自信的语气说'该船正在驶向 X 坐标'。

把模型直接放在'产出 actionable intelligence'的位置,等于让一个天生会编故事的系统去写法院判决书。问题出在系统设计,不是模型本身。

正确的位置是:AI 做检索 + 初筛 + 候选排序,人做事实核验 + 决策。LLM 是 copilot,不是 pilot。

Agent 在高风险领域的红线

从这件事可以推导出 Agent 在高风险领域部署的 3 条硬红线。我把它做成可操作的检查清单,任何团队在做类似系统时可以对照:

红线 1:不能跳过 human-in-the-loop

Agent 产出的每一个 actionable 输出,必须经过人类签核。'签核'不是点个按钮,是人类读完整上下文并明确签字。Slack 集成里的'Approve'按钮不构成 HITL。

实现层面的最小代码 — 强制人类 review 节点:

from langgraph import StateGraph, END
from typing import TypedDict, Literal

class IntelState(TypedDict):
    raw_data: list
    ai_summary: str
    human_approved: bool
    final_report: str

def ai_summarize(state: IntelState):
    summary = llm.invoke(state["raw_data"])
    return {"ai_summary": summary}

def human_review(state: IntelState):
    decision = wait_for_human_approval(state["ai_summary"])
    return {"human_approved": decision["approved"]}

def finalize(state: IntelState):
    return {"final_report": state["ai_summary"] if state["human_approved"] else "REJECTED"}

def route_after_review(state: IntelState) -> Literal["finalize", END]:
    return "finalize" if state["human_approved"] else END

graph = StateGraph(IntelState)
graph.add_node("ai", ai_summarize)
graph.add_node("human", human_review)
graph.add_node("finalize", finalize)
graph.add_edge("ai", "human")
graph.add_conditional_edges("human", route_after_review)
graph.set_entry_point("ai")
app = graph.compile()

关键在 human_review 必须是同步阻塞,不能是异步 fire-and-forget。LangGraph 的设计天然适合这种流程,我在生产环境用的就是这个模式。

红线 2:幻觉检测要独立于生成模型

不要用同一个模型(或同系列模型)去检测自己输出的幻觉 — 这是常见的反模式。理想做法是:

  • 用 NLI 模型(自然语言推理)做事实一致性检查
  • 用 RAG 把每个断言回溯到原始数据源,验证是否真的在源文档里
  • 用规则引擎校验关键字段(AIS 船 ID、坐标格式、时间戳)

红线 3:关键决策必须有可追溯证据链

每一条 actionable 结论,必须能展开看到:
- 数据来源(文件 ID、传感器、时间)
- 推理步骤(用了哪个检索、哪个 prompt)
- 置信度(系统给的,不是模型嘴上说的)

如果 AI 报告里写'该船位于 N 21° 34' E 118° 12'',系统必须能告诉你这个坐标是从哪份 AIS 数据里来的。如果回溯不出来,默认是幻觉。

美军这次的 AI 用对了哪个部分

别因为这件事就得出'AI 不能用在情报领域'的结论。

CNN 报道里美军用的是 AI 来做情报检索与初筛 — 从海量 SIGINT/IMINT 数据里挑出可疑目标,这个场景 AI 是真的好用的:

  • 规模问题:每天 TB 级的信号数据,人眼看不过来,AI 做 anomaly detection 是刚需
  • 模式识别:发现跨数据源的弱关联(比如这艘船的 AIS 关闭 + 同时间窗口某港口的异常通信)
  • 提速:把分析师从'在 10 万条记录里找那一条'解放成'在 AI 圈出的 50 条里深挖那一条'

边界很清楚:AI 做'找什么',人做'是不是'。AI 是雷达,人是判断。雷达可以误报,但开火按钮必须在人手里。

这件事的问题不是'美军用了 AI',是'AI 的输出被允许跳过太多人工环节直接进入决策流'。这是部署错配,不是技术失败。

编辑思考

为什么这件事比 OpenAI 任何一次模型发布都重要 — 因为它第一次给'Agent 在高风险场景部署'标定了真实的价格。

之前我们讨论 AI 安全,要么是理论上的 existential risk,要么是 ChatGPT 聊天框里的无害幻觉。前者太远,后者太轻。这次不一样:有具体的报告、具体的船、具体的 close call、具体的拦截环节。真实的价格第一次被摆上桌。

我的判断(可能反共识):这件事不会显著放慢美军 AI 化的速度。原因很简单 — 竞争对手也在用 AI,停下来等于落后。所以更可能的演化是:

  1. 短期(6-12 个月):美军会强化 HITL 的硬性规定,要求更多签核点
  2. 中期(1-2 年):独立的幻觉检测模块(用 NLI + RAG 验证)会成为采购强制项
  3. 长期(3+ 年):会催生'AI 情报审计员'这个新职业 — 类似现在的 red team,但专门审查 AI 输出

这次具体和过去哪些事不同:和 Microsoft Tay、Facebook 聊天机器人暴走那种 PR 灾难不同,这是功能性失败,不是冒犯性失败。冒犯性失败只丢面子,功能性失败丢命。社区里 HN 评论集中在'系统设计'而不是'模型能力',说明工程师们已经意识到 — 锅不在 GPT,在把 GPT 放在那把椅子上的人。

不确定的地方:CNN 报道没披露具体是哪个 AI 系统(自研还是商用模型)、用了什么 prompt 工程、幻觉检测环节是否存在但被绕过。这些细节出来之前,我对'美军 AI 化整体部署成熟度'的判断只能保留。

但有一件事确定:任何在金融、医疗、军事领域做 Agent 的团队,这件事都该存进你们的风险登记册。下次有 PM 说'AI 直接生成报告给客户就行,人工太慢',把这条新闻甩过去。

来源:CNN 报道 / HN 讨论

来源: https://www.cnn.com/2026/09/18/politics/us-military-ai-false-intelligence-china-ship