实战

GLM-5.3 缓存泄露 155 个响应:共享 KV 不是小问题

Cloudflare 披露 Workers AI 的 GLM-5.3 出现跨请求 KV cache 暴露,影响 155 个响应。本文拆解隔离边界、排查方法与修复检查清单。

字号

Cloudflare 披露 Workers AI 的 GLM-5.3 出现跨请求 KV cache 暴露,共影响 155 个响应。对使用该模型的团队,这不只是输出异常,还涉及租户隔离与缓存作用域。

Cloudflare 披露,Workers AI 提供的 GLM-5.3 模型存在跨请求 KV cache 暴露问题,共涉及 155 个响应。

这不是普通的模型输出偏差。缓存中的内容可能从另一个请求进入当前响应,意味着不同用户之间共享了本应隔离的状态。

相关条目登上 Hacker News 首页,获得 96 分和 30 条评论。开发者关注点很明确:模型服务到底按什么边界复用缓存?

Cloudflare 已发布专门的漏洞分析与修复说明,覆盖缓存复用边界及暴露后的处置措施。原文:https://blog.cloudflare.com/kv-cache-exposure-remediation/

问题不只是一次串包

先看事实。

  • Cloudflare 披露 GLM-5.3 Workers AI 模型存在跨请求 KV cache 暴露。
  • 暴露发生在模型服务的 KV cache 机制中。
  • 不同请求可能共享本应隔离的缓存内容。
  • 披露范围为 155 个响应。
  • Hacker News 条目获得 96 分、30 条评论。

155 这个数字比“偶尔出现一条异常响应”更麻烦。

单次错误可能是调度抖动、请求中断或临时状态污染。连续多个响应受到影响,则需要回答更具体的问题:哪些请求会命中同一缓存键?复用发生在哪个层级?失效逻辑是否把不同租户当成同一个工作区?

对用户来说,最危险的也不只是响应里混入别人的文字。缓存内容可能包含敏感输入、模型生成的中间状态,或者由多个请求拼接出的上下文。只看最终输出,可能很难判断污染范围。

这也是为什么 Cloudflare 专门发布漏洞说明,而不是只发布一条状态更新。团队需要知道受影响版本、触发条件、修复动作和后续检查方式。

KV cache 为什么会跨请求暴露

KV cache 是大模型推理中的常见优化。

模型处理 prompt 时,会为 token 序列生成 Key 和 Value。后续请求如果拥有相同或相近的前缀,推理系统可以复用已计算的 KV,从而减少重复计算,降低延迟和推理成本。

问题出在“相同或相近”怎么判断。

一个简化后的缓存键可能是这样生成的:

import hashlib
import json

def cache_key(model: str, tenant_id: str, prompt: str) -> str:
    payload = json.dumps(
        {
            "model": model,
            "tenant_id": tenant_id,
            "prompt": prompt,
        },
        sort_keys=True,
    )
    return hashlib.sha256(payload.encode("utf-8")).hexdigest()

这段代码本身没有问题。它明确把 tenant_id 纳入缓存键。

真正的风险通常藏在缓存键之外:

  • 路由层先按模型、前缀或硬件位置复用 KV,没再检查租户标识。
  • 缓存存储虽然按租户分区,查找时却只使用 prompt hash。
  • 请求被重试、迁移或预热后,原来的作用域信息丢失。
  • 缓存条目过期太晚,租户或会话已经切换,条目仍可被读取。
  • 并发请求共享同一批 KV block,但其中部分 block 来自另一条会话。

多租户模型服务里,缓存复用可能是三层决策:

  1. 哪些请求可以共享前缀。
  2. 缓存条目存放在哪个分区。
  3. 命中结果是否仍属于当前租户和会话。

只处理第一层,不等于完成了隔离。

传统 Web 缓存的边界通常比较清楚:URL、查询参数、Cookie 和 Vary 头共同决定响应归属。模型 KV 更复杂,因为缓存的是推理状态,而不是一条完整 HTTP 响应。它的复用条件依赖 token 前缀、调度位置、模型版本和执行设备。

一旦作用域没有跟随 KV 一起传递,隔离就会在系统内部失效。

155 个响应比单次异常更值得查

排查这类问题,不能只问“有没有用户看到错内容”。还要确认触发条件和可验证性。

至少要覆盖四类检查:

  • 同一租户、同一会话的连续请求是否出现非预期内容。
  • 不同租户使用相同或相似 prompt 时,是否可能命中同一批 KV。
  • 请求重试、区域切换和实例迁移后,缓存作用域是否保持不变。
  • 模型版本、缓存格式或部署配置变化后,旧条目是否仍被复用。

155 个响应不等于 155 个用户。它可能来自少数会话,也可能横跨多个账号。没有去重后的请求数、租户数和会话数,就不能准确计算爆炸半径。

同样,“已经修复”也不等于“影响已经查清”。

比较扎实的披露应提供:受影响时间区间、缓存命中条件、租户级影响数量、处置方式,以及能否证明不存在未观测到的污染。若 155 是系统审计得到的数量,就应说明统计口径。若只是主动扫描或抽样结果,也应明确标注。

目前公开摘要给出了 155 个响应,但完整触发路径和更细的影响范围仍需要结合 Cloudflare 后续说明核对。

修复不能只靠清空缓存

清空缓存通常是必要动作,但不够。

KV cache 是有状态数据。即使删除现存条目,路由、键生成、失效策略和重试逻辑如果没有修好,同类问题还会出现。

Cloudflare 的修复说明涉及缓存复用边界和暴露后的处置措施。工程上至少需要验证四层:

第一层是缓存键。租户、会话、模型版本等隔离维度不能依赖调用方自觉传入。

第二层是存储和读取。缓存分区、查询条件和条目元数据必须使用同一套作用域规则。

第三层是生命周期。过期、驱逐、迁移和回滚要同步清理或迁移状态,不能留下可跨作用域读取的旧条目。

第四层是日志与审计。日志需要记录缓存条目标识、作用域、命中结果和条目来源,但不能把敏感 prompt 或完整 KV 写入日志。

回归测试也不能只测“答案是否准确”。可以构造两个拥有相同 prompt、不同租户的请求,检查响应中是否出现另一租户独有内容:

from collections.abc import Callable

def assert_no_cross_tenant_leak(
    invoke: Callable[[str, str], str],
    first_tenant: str,
    second_tenant: str,
    marker: str,
) -> None:
    first = invoke(first_tenant, "The deployment region is us-east-1.")
    second = invoke(second_tenant, "The deployment region is us-east-1.")

    assert marker not in first
    assert marker not in second

这里故意让两个请求使用相同 prompt。测试目标是验证基础设施作用域,而不是依赖 prompt 差异把问题“藏起来”。

真实测试还要覆盖并发、重试和实例切换。只串行跑两次,很容易漏掉调度竞争。

对 Workers AI 用户的现实影响

使用 GLM-5.3 的团队,不应默认模型服务天然隔离。

先检查输入。

如果请求里包含客户资料、代码、内部工单、密钥片段或个人信息,应确认它是否可能被写入共享缓存,以及日志和缓存保留时间有多长。

再检查上下文。

不要假设上一轮对话的状态不会进入当前响应。对 Agent 或长会话应用尤其如此:用户标识、session ID 和业务租户 ID 应当在每次请求中显式传递。

同时核对响应归属。

模型返回来源标识、系统附加信息或会话摘要时,将其与请求上下文做程序化比对。人工抽查只能发现问题,不能证明没有问题。

最后检查缓存失效策略。

权限变更、用户删除、会话结束、模型升级和区域迁移,都应触发对应范围的失效。不要等自然过期。

这里还有一个容易混淆的点:传统 Web 缓存漏洞通常泄露完整响应或片段;模型上下文窗口问题则涉及模型能否记住当前会话内容。本次事件更接近共享推理状态的作用域错误。它既不是单纯的 HTTP 缓存权限配置,也不是模型“记性太好”。

编辑思考

这次事件的重要性,不在 155 这个数字有多耸动,而在于共享推理基础设施把“性能复用”和“安全边界”绑在了一起。KV cache 能降低延迟和成本,但一旦缺少租户级约束,省下的计算可能以跨请求泄露为代价。

我更关注修复后的长期设计:缓存键是否由服务端强制生成,租户作用域是否覆盖写入、查找、迁移和失效全过程。我的预测是,后续模型 API 会把缓存隔离选项和保留策略做成明确配置,而不是让用户默认共享。

它与过去的 Web 缓存漏洞不同,泄露对象是推理状态;也不同于上下文窗口过长,那通常发生在同一会话内部。这次越过了请求归属边界。不过,目前公开信息还不足以还原完整触发路径,也缺少去重后的受影响租户数。155 个响应能证明问题存在,不能替代完整影响评估。

来源

https://blog.cloudflare.com/kv-cache-exposure-remediation/

来源: https://blog.cloudflare.com/kv-cache-exposure-remediation/