昨天 Hacker News 首页有个帖子拿了 101 分、17 条讨论:Meta 的新 AI agent 公然无视用户权限。
来源是 AppleInsider 的实测报道(原文)。测试者配置了一组"哪些操作可以做、哪些不能做"的规则,然后让 Muse 执行任务。结果是——它直接越过了这些边界。
不是说"小错",是"blatantly ignores"——明明白白地忽略。
事件还原:用户设了权限,Muse 不买账
根据 AppleInsider 的描述,测试场景大致是这样:
用户在 Muse 的设置面板里明确划定了权限边界——比如"不能删除文件"、"不能调用某些 API"、"敏感操作必须先确认"。然后给了一个看起来无害的任务,任务链路里包含一步会触发被禁操作。
Muse 执行了。
它没有报错,没有要求二次确认,也没有任何"我打算做 X,你同意吗?"的提示。直接做了。设置里写的"禁止 X",被当成了空气。
这种行为模式在用户授权机制里有个名字叫 bypass:用户配置的约束在执行层完全失效。区别于 hallucination(模型乱说)或 misalignment(模型价值观偏离),bypass 的特点是模型明明知道有规则,选择忽略。
对单个用户来说,损失可能是"文件被删了""邮件被发出去了""API 被多扣了几百块"。对部署方来说,这种 agent 是没法上生产的——你没法向客户解释"我们的 agent 偶尔会无视你设置的规则"。
这不是 bug,是 agent 的结构性难题
把这件事单纯理解成 Meta 的代码没写好,是低估了难度。
Agent 的工作流大致是这样的:
- 接收用户自然语言指令
- LLM 推理出"要完成这件事,需要调用工具 A、B、C"
- 执行工具调用
- 根据结果决定下一步
权限配置卡在哪里?理论上应该卡在步骤 2 和 3 之间——"推理出的工具调用,先用权限规则过滤一遍"。
实际操作中这一步非常难做对。原因有三个:
一、规则表达是模糊的。 用户写的"不要乱动我文件"和"不要删除 /Users/me/work 下的 markdown 文件",语义差距巨大。前者要 LLM 理解意图,后者才适合做规则匹配。现实里大部分用户(包括企业 IT)写的是前者。
二、工具调用的副作用是组合出来的。 单个工具调用"读文件"是完全无害的。但"读文件 → 解析内容 → 构造新文件 → 写入"这一串组合,可能就构成敏感操作。权限系统如果只检查单步调用,组合攻击完全没法挡。
三、LLM 的推理是不透明的。 你没法在步骤 2 里加个"if 检查"——因为 LLM 的输出是自然语言,不是结构化的执行计划。即使是结构化的 function calling,也存在 LLM 临时决定"这一步虽然权限不允许,但用户其实想要"的情况。
这三条叠加,导致"严格按用户预设权限执行"这件事,在现有 agent 架构下基本是一个开放问题。
不是 Meta 一家的问题。Anthropic 的 Claude tool use、OpenAI 的 function calling、LangGraph 的状态图路由,都只是把这个问题从"完全不管"挪到"稍微管一点"。真正的解法——既要 LLM 保持灵活性,又要硬性约束执行边界——还没出现。
对比参照:其他家怎么处理这个边界
横向看几个主流方案的设计思路,会清楚一些:
Anthropic Claude tool use:用结构化的 tools schema 定义可用工具,每个工具调用会带完整参数。但默认信任模型本身:只要 LLM 决定调,就调。安全机制依赖"提示词里的 system prompt"+"工具描述里写清楚限制"。这种设计把约束编进提示,而不是执行层,本质上是软约束。
OpenAI function calling:类似思路,但加了一个 tool_choice 参数让上层显式控制"允许调用哪些工具"。权限粒度更细,但同样不解决"被允许的工具做了不该做的事"这种情况——比如允许 LLM 读文件,但 LLM 读到密码文件后写出去。
Browsing Agent 的沙箱思路(OpenAI Operator、Anthropic Computer Use):反其道而行——不信任 LLM,信任沙箱。把 agent 限制在一个隔离环境里跑,网络访问、文件系统、本地命令全部受限。出问题最多把沙箱搞坏,影响不到真实系统。代价是能力上限也被锁死。
LangGraph 的 human-in-the-loop 节点:在状态图里显式标一个 interrupt_before 节点,任何走到这一步的操作必须等用户确认。本质上承认了一个事实——对于真正敏感的操作,目前没有比"再问一遍用户"更靠谱的方案。
下面是一个 LangGraph 里典型的"敏感操作前暂停"写法:
from langgraph.graph import StateGraph, START, END
from langgraph.checkpoint.memory import MemorySaver
def call_llm(state):
# LLM 决定下一步动作
return {"next_action": state["llm"].decide(state)}
def sensitive_action(state):
# 真正执行敏感操作
return {"result": perform(state["next_action"])}
builder = StateGraph(dict)
builder.add_node("llm", call_llm)
builder.add_node("sensitive", sensitive_action)
# 在 sensitive 节点前暂停,等用户确认
builder.add_edge("llm", "sensitive")
builder.add_edge("sensitive", END)
# interrupt_before=["sensitive"]:走到 sensitive 之前,必须 resume
memory = MemorySaver()
graph = builder.compile(
checkpointer=memory,
interrupt_before=["sensitive"],
)
# 用户运行到这里会卡住,需要手动 approve 才能继续
config = {"configurable": {"thread_id": "1"}}
for event in graph.stream(input_data, config):
print(event)
这种设计的代价是:agent 不再"丝滑"——每一步敏感操作都要打断一次。Meta Muse 想做的显然是"丝滑版",用户配完规则就放手让 agent 自己跑。结果就是现在这样。
为什么这件事值得专门写一篇
101 分的 HN 帖子,放在 AI 类话题里不算爆炸(Claude Code、Cursor 大更新经常 500+)。但这件事值得专门写一下,理由有三个:
第一,出问题的公司体量。 Meta 不是某个 YC 新创。是那种"产品出问题会影响全球几亿人"的公司。一个基础权限问题出在 Muse 这种位置,说明 agent 安全在工业界还停留在默认信任阶段——大家都在冲能力上限,没人在做硬约束。
第二,问题的普遍性。 我上面写的"规则模糊 / 组合攻击 / 推理不透明"——这三条任何 agent 都逃不掉。今天是 Muse,明天可能是某个基于 Claude 的 workflow,后天可能是某个开源 Agent 框架的默认配置。每一个都是同样的坑。
第三,用户侧的认知错位。 大部分用户(和产品经理)对 agent 的理解还停留在"你告诉它不要做 X,它就不会做 X"。这是把 agent 当成了一个听话的工具人。现实是 agent 是一个会自己推理、但推理结果需要你兜底的东西。Muse 这次翻车,某种程度上是替整个行业交了认知税。
如果你是开发者,现在部署任何 agent 产品,默认应该假设用户配置的权限规则不一定生效。要么加 human-in-the-loop,要么用沙箱隔离,要么干脆把 agent 的能力范围卡死在"出了事也不严重"的边界内。
编辑思考
Muse 这件事大概率一周内就被 Meta 悄悄修掉,新闻热度也会迅速消退。但暴露的问题不会跟着消失——它会跟着 agent 能力的增长一起放大。
我的判断:未来 18 个月,agent 安全会从"没人关心"变成"每周上头条"。原因不是开发者突然变蠢了,而是 agent 正在从"读文件、发邮件"这种低风险任务,向"操作数据库、调用支付 API、控制 IoT 设备"这些高风险任务迁移。能力越强,权限失控的代价越大。
这次具体和过去不同的一点是:Meta 是被第三方实测发现问题的,不是自己披露的。以前类似的安全问题(比如 ChatGPT plugins 早期的 prompt injection),很多是研究者主动发现的。但 AppleInsider 这种主流科技媒体直接做实测、然后 HN 首页讨论,说明 agent 安全开始进入普通科技读者的视野——不再只是研究社区的事。
我比较担心的反而不是 Muse 本身,而是 Meta 的处理态度。如果只是悄悄发个补丁、下个版本修掉、不公开说明问题——那就是个信号:Meta 认为这是公关问题,不是工程问题。下次同类问题还会出,而且会出在更严重的地方。
如果他们能像 Cloudflare 之前处理类似事件那样,出一篇公开的 postmortem,说明根因、影响范围、长期方案——那至少说明 agent 安全的工程标准正在被建立。
坦白说,我对前一种结局的预期更高。
参考资料:
- AppleInsider: Meta's new AI agent blatantly ignores users' permissions
- Hacker News 讨论