Cloudflare 披露 Workers AI 的 GLM-5.3 出现跨请求 KV cache 暴露,共影响 155 个响应。对使用该模型的团队,这不只是输出异常,还涉及租户隔离与缓存作用域。
Cloudflare 披露,Workers AI 提供的 GLM-5.3 模型存在跨请求 KV cache 暴露问题,共涉及 155 个响应。
这不是普通的模型输出偏差。缓存中的内容可能从另一个请求进入当前响应,意味着不同用户之间共享了本应隔离的状态。
相关条目登上 Hacker News 首页,获得 96 分和 30 条评论。开发者关注点很明确:模型服务到底按什么边界复用缓存?
Cloudflare 已发布专门的漏洞分析与修复说明,覆盖缓存复用边界及暴露后的处置措施。原文:https://blog.cloudflare.com/kv-cache-exposure-remediation/
问题不只是一次串包
先看事实。
- Cloudflare 披露 GLM-5.3 Workers AI 模型存在跨请求 KV cache 暴露。
- 暴露发生在模型服务的 KV cache 机制中。
- 不同请求可能共享本应隔离的缓存内容。
- 披露范围为 155 个响应。
- Hacker News 条目获得 96 分、30 条评论。
155 这个数字比“偶尔出现一条异常响应”更麻烦。
单次错误可能是调度抖动、请求中断或临时状态污染。连续多个响应受到影响,则需要回答更具体的问题:哪些请求会命中同一缓存键?复用发生在哪个层级?失效逻辑是否把不同租户当成同一个工作区?
对用户来说,最危险的也不只是响应里混入别人的文字。缓存内容可能包含敏感输入、模型生成的中间状态,或者由多个请求拼接出的上下文。只看最终输出,可能很难判断污染范围。
这也是为什么 Cloudflare 专门发布漏洞说明,而不是只发布一条状态更新。团队需要知道受影响版本、触发条件、修复动作和后续检查方式。
KV cache 为什么会跨请求暴露
KV cache 是大模型推理中的常见优化。
模型处理 prompt 时,会为 token 序列生成 Key 和 Value。后续请求如果拥有相同或相近的前缀,推理系统可以复用已计算的 KV,从而减少重复计算,降低延迟和推理成本。
问题出在“相同或相近”怎么判断。
一个简化后的缓存键可能是这样生成的:
import hashlib
import json
def cache_key(model: str, tenant_id: str, prompt: str) -> str:
payload = json.dumps(
{
"model": model,
"tenant_id": tenant_id,
"prompt": prompt,
},
sort_keys=True,
)
return hashlib.sha256(payload.encode("utf-8")).hexdigest()
这段代码本身没有问题。它明确把 tenant_id 纳入缓存键。
真正的风险通常藏在缓存键之外:
- 路由层先按模型、前缀或硬件位置复用 KV,没再检查租户标识。
- 缓存存储虽然按租户分区,查找时却只使用 prompt hash。
- 请求被重试、迁移或预热后,原来的作用域信息丢失。
- 缓存条目过期太晚,租户或会话已经切换,条目仍可被读取。
- 并发请求共享同一批 KV block,但其中部分 block 来自另一条会话。
多租户模型服务里,缓存复用可能是三层决策:
- 哪些请求可以共享前缀。
- 缓存条目存放在哪个分区。
- 命中结果是否仍属于当前租户和会话。
只处理第一层,不等于完成了隔离。
传统 Web 缓存的边界通常比较清楚:URL、查询参数、Cookie 和 Vary 头共同决定响应归属。模型 KV 更复杂,因为缓存的是推理状态,而不是一条完整 HTTP 响应。它的复用条件依赖 token 前缀、调度位置、模型版本和执行设备。
一旦作用域没有跟随 KV 一起传递,隔离就会在系统内部失效。
155 个响应比单次异常更值得查
排查这类问题,不能只问“有没有用户看到错内容”。还要确认触发条件和可验证性。
至少要覆盖四类检查:
- 同一租户、同一会话的连续请求是否出现非预期内容。
- 不同租户使用相同或相似 prompt 时,是否可能命中同一批 KV。
- 请求重试、区域切换和实例迁移后,缓存作用域是否保持不变。
- 模型版本、缓存格式或部署配置变化后,旧条目是否仍被复用。
155 个响应不等于 155 个用户。它可能来自少数会话,也可能横跨多个账号。没有去重后的请求数、租户数和会话数,就不能准确计算爆炸半径。
同样,“已经修复”也不等于“影响已经查清”。
比较扎实的披露应提供:受影响时间区间、缓存命中条件、租户级影响数量、处置方式,以及能否证明不存在未观测到的污染。若 155 是系统审计得到的数量,就应说明统计口径。若只是主动扫描或抽样结果,也应明确标注。
目前公开摘要给出了 155 个响应,但完整触发路径和更细的影响范围仍需要结合 Cloudflare 后续说明核对。
修复不能只靠清空缓存
清空缓存通常是必要动作,但不够。
KV cache 是有状态数据。即使删除现存条目,路由、键生成、失效策略和重试逻辑如果没有修好,同类问题还会出现。
Cloudflare 的修复说明涉及缓存复用边界和暴露后的处置措施。工程上至少需要验证四层:
第一层是缓存键。租户、会话、模型版本等隔离维度不能依赖调用方自觉传入。
第二层是存储和读取。缓存分区、查询条件和条目元数据必须使用同一套作用域规则。
第三层是生命周期。过期、驱逐、迁移和回滚要同步清理或迁移状态,不能留下可跨作用域读取的旧条目。
第四层是日志与审计。日志需要记录缓存条目标识、作用域、命中结果和条目来源,但不能把敏感 prompt 或完整 KV 写入日志。
回归测试也不能只测“答案是否准确”。可以构造两个拥有相同 prompt、不同租户的请求,检查响应中是否出现另一租户独有内容:
from collections.abc import Callable
def assert_no_cross_tenant_leak(
invoke: Callable[[str, str], str],
first_tenant: str,
second_tenant: str,
marker: str,
) -> None:
first = invoke(first_tenant, "The deployment region is us-east-1.")
second = invoke(second_tenant, "The deployment region is us-east-1.")
assert marker not in first
assert marker not in second
这里故意让两个请求使用相同 prompt。测试目标是验证基础设施作用域,而不是依赖 prompt 差异把问题“藏起来”。
真实测试还要覆盖并发、重试和实例切换。只串行跑两次,很容易漏掉调度竞争。
对 Workers AI 用户的现实影响
使用 GLM-5.3 的团队,不应默认模型服务天然隔离。
先检查输入。
如果请求里包含客户资料、代码、内部工单、密钥片段或个人信息,应确认它是否可能被写入共享缓存,以及日志和缓存保留时间有多长。
再检查上下文。
不要假设上一轮对话的状态不会进入当前响应。对 Agent 或长会话应用尤其如此:用户标识、session ID 和业务租户 ID 应当在每次请求中显式传递。
同时核对响应归属。
模型返回来源标识、系统附加信息或会话摘要时,将其与请求上下文做程序化比对。人工抽查只能发现问题,不能证明没有问题。
最后检查缓存失效策略。
权限变更、用户删除、会话结束、模型升级和区域迁移,都应触发对应范围的失效。不要等自然过期。
这里还有一个容易混淆的点:传统 Web 缓存漏洞通常泄露完整响应或片段;模型上下文窗口问题则涉及模型能否记住当前会话内容。本次事件更接近共享推理状态的作用域错误。它既不是单纯的 HTTP 缓存权限配置,也不是模型“记性太好”。
编辑思考
这次事件的重要性,不在 155 这个数字有多耸动,而在于共享推理基础设施把“性能复用”和“安全边界”绑在了一起。KV cache 能降低延迟和成本,但一旦缺少租户级约束,省下的计算可能以跨请求泄露为代价。
我更关注修复后的长期设计:缓存键是否由服务端强制生成,租户作用域是否覆盖写入、查找、迁移和失效全过程。我的预测是,后续模型 API 会把缓存隔离选项和保留策略做成明确配置,而不是让用户默认共享。
它与过去的 Web 缓存漏洞不同,泄露对象是推理状态;也不同于上下文窗口过长,那通常发生在同一会话内部。这次越过了请求归属边界。不过,目前公开信息还不足以还原完整触发路径,也缺少去重后的受影响租户数。155 个响应能证明问题存在,不能替代完整影响评估。