事件本身:Bloomberg 说了什么
Bloomberg 8 月发了一篇长调查,标题很直白——'Overreliance on AI contributed to missile strike on Iran school – Pentagon'。
核心结论:五角大楼内部认定,这次针对伊朗学校的导弹打击,操作员对 AI 推荐存在过度依赖。AI 给出的目标建议被当作决策依据,而不是参考意见。
这条调查在 Hacker News 上挂了 142 分、65 条评论。在军事新闻里,这个讨论度算很高了——HN 用户平时不太关心海外军事行动。
自动化偏见不是新问题,但战场版本更致命
这件事的技术背景叫 automation bias。定义很朴素:人在信息不足时,倾向于服从机器给出的建议,即使自己有理由怀疑。
这个现象不新鲜。
- 民航:波音 737 MAX 的 MCAS 系统出过类似争议,飞行员在异常情况下被训练去相信机器,但机器给出的指引本身是错的。
- 医保 AI:2019 年的一项研究(发表于 Science)发现,某商业医疗风险预测算法对黑人患者的资源分配显著偏低,因为算法学的是历史医疗支出,而非真实病情。
- 自动驾驶:Tesla Autopilot 在多个致死事故中,NTSB 报告都提到驾驶员对系统的过度信任。
这些案例的共同点是:人没有在关键时刻反驳机器。
战场版本的差别在于:没有'重试'机会。
民航事故里,飞行员有秒级反应窗口;医疗误诊至少还有时间复查。但导弹从发射到命中,以分钟计,目标被摧毁不可逆。AI 推荐错误一次,代价是几十条平民生命。
为什么开发者社区更该关心这件事
别觉得这事跟你写的 CRUD 应用没关系。
自动化偏见不是军用 AI 独有的 bug——它是你每天交付的产品里的隐性风险。
举几个我见过的真实场景:
- LLM 代码评审。团队引入 AI 做 PR review,几周后发现初级工程师不再仔细看 reviewer 的反馈,只要看到'AI 已通过'就直接 merge。code review 形同虚设。
- 客服机器人。把 LLM 生成的回复直接发给用户,不让人复核。结果模型在退款场景里给出超过授权的承诺,公司被薅了几十万。
- 推荐系统。运营同学看到模型给的转化率预测,直接拿来定预算,不再做小流量实验。结果模型在长尾类目上系统性偏置,广告主发现自己的钱被错配。
我们交付的每一个产品,都在塑造用户对 AI 的信任:
- 置信度分数:显示还是不显示?显示在显眼位置还是角落?
- UI 高亮:AI 推荐的选项要不要加颜色、加粗、放在第一位?
- 措辞:'AI 建议'和'AI 决定',用户的理解差异巨大。
Bloomberg 那篇报道里,美军操作员面对的界面,本质上和你写的 dashboard 没区别——只是后果从'用户点错按钮'变成了'学校被炸'。
军事 AI 圈的回应:沉默比争论更说明问题
Bloomberg 报道出来后,我去看了几家头部公司的公开表态。
- Palantir:没看到正式回应。他们的 AIP 平台对外宣传一直强调'human-in-the-loop'。
- Anduril:Lattice 操作系统主打自主武器系统。公关口径还是'人在回路'。
- Scale AI:Defense 部门没单独发声,转发了母公司关于'AI 安全'的通用声明。
真正的反思稀缺。
大部分公关停留在口号层面——'human-in-the-loop' 这四个字出现了上百次,但没人定义清楚:
- 人在哪个环节介入?
- 介入的有效性怎么度量?
- 当 AI 推荐的置信度是 0.87,但人没有领域知识反驳时,这算不算'人在回路'?
Project Maven 当年引发 Google 员工抗议,迫使 Google 退出部分军用合同。那次争论之后十年过去了,军用 AI 的部署规模反而扩大了十倍。但这次的伊朗学校事件,第一次有官方机构自己承认过度依赖导致平民伤亡。这个先例的分量,比任何抗议都重。
我们能做什么:工程师层面的几个具体抓手
作为工程师,我们改变不了五角大楼的采购流程。但可以把自己这一层的产品做对。
1. 置信度必须显示,而且要显眼
不要把置信度藏在 tooltip 里。一个最简实现:
function RecommendationCard({ item, confidence, source }) {
return (
<div className="rec-card">
<h3>{item.title}</h3>
<p className="source">推荐来源:{source}</p>
<ConfidenceBar value={confidence} />
<p className="caveat">
该推荐由 AI 生成,仅供决策参考
</p>
</div>
);
}
关键是 <ConfidenceBar> 要明显,<caveat> 不能藏在一行小字里。
2. 副本措辞要谨慎
'AI 建议'、'AI 推荐'、'系统判定'——这三种措辞,用户的服从率完全不同。
如果有内部 A/B 测试,你会发现'系统判定'的点击率比'AI 建议'高 15-20%,但用户的复核率低 30%。这不是 bug,这是认知偏见的体现。
3. A/B 测试里加一个反向指标
传统 AI 产品的指标是采纳率(acceptance rate)、准确率(accuracy)。
建议加一个:当用户忽略 AI 建议时,正确率是多少?
如果这个数字显著高于 50%,说明你的 AI 在某些场景下给的建议是错的,但用户被 UI 推着去接受。
def evaluate_override_quality(logs):
overrides = logs.filter(action='user_overrode_ai')
correct_overrides = overrides.filter(outcome='user_was_right')
return correct_overrides.count() / overrides.count()
如果你跑出来这个数字高于 0.5,就有必要重新审视产品设计。
4. 别把 LLM 评审当 silver bullet
团队引入 AI code review 工具前,先问自己:
- 它会降低人类 reviewer 的注意力吗?
- 它给出的'建议'是否有被盲目 merge 的风险?
- 关键路径(认证、支付、数据迁移)的 PR,是否强制人工评审?
AI 评审在 catch typo、查规范上是好用的。但把架构决策、权限变更也交给它,就是 automation bias 的温床。
编辑思考
这件事和过去的军用 AI 争议(Google 员工抗议 Project Maven、Palantir 合同争议、AI Ethics 委员会的解散)有一个本质区别:第一次有官方机构自己站出来承认,过度依赖 AI 直接导致了平民伤亡。
以前的所有争议都是外部推动——员工抗议、国会听证、媒体调查。这次是五角大楼内部的 AAR(After Action Review)自己写的结论。这个先例意味着:责任归属的法律链条会加速形成——一旦官方承认一次,后续类似事件的被告就不能再说'我们不清楚 AI 的角色'。军用 AI 供应商会被倒逼提供更详细的审计日志:操作员看了哪个建议、看了几秒、有没有手动覆盖——这些数据从今以后可能要进法庭。民用 AI 监管也会引用这个案例,欧盟 AI Act 的高风险条款、美国各州的算法问责立法,都可能拿这件事做证据。
我的判断:军事 AI 的下一个分水岭,不是技术能力,而是谁敢公开认错。
Bloomberg 这篇报道能不能真正改变什么,我持谨慎态度。军事系统的采购周期是 10 年量级,文化惯性比技术更难改。但有一件事可以确定——以后任何 AI 厂商在给政府卖产品时,合同里大概率会多一行:'本系统不保证输出准确,操作员需独立判断'。
这是进步,但进步得很小。