实战

USDB 是什么?字节跳动推荐系统存储方案解析

USDB 是字节跳动面向下一代推荐系统的存储研究。它不改进推荐算法,而是处理高并发、低延迟与成本控制问题,也关系到实时 AI Agent 的检索效率。

字号

字节跳动公开了 USDB 论文,研究推荐系统如何扩展存储。它不是新的推荐算法,而是面向高并发访问、低延迟和成本控制的存储方案。对 AI Agent 来说,这同样关系到检索速度和单位任务成本。

原始论文:USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance

USDB 是什么

推荐系统看起来拼模型,实际也在拼存储。

模型可以离线训练,特征也可以提前计算。请求到来后,系统必须在有限的延迟预算内读取用户特征、候选内容和上下文数据。

数据放不下、读取太慢,或者扩容成本过高,再好的模型也难以上线。

字节跳动发布的研究论文《USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance》,讨论的正是这个问题。素材记录的论文编号为 2611.02618,摘要涉及大规模数据存储、访问效率与工程落地。

先说清楚:USDB 不是又一个推荐算法。它处理的是推荐系统底层的数据访问问题。

USDB 为什么值得研究

推荐系统通常被理解为模型问题,包括召回、排序、重排和多任务学习。论文标题强调的关键词却是 storage。

这类系统通常先解决数据规模、读写路径和硬件利用率,再讨论模型结构能带来多少收益。

USDB 值得研究,主要有三层原因。

第一,推荐系统是存储压力很直观的 AI 应用。线上请求会持续读取用户画像、行为序列、物品特征和模型参数。数据体量大,访问模式也不完全相同。

第二,它把下一代推荐系统当成一个系统问题,而不是某个模型模块。存储引擎要承接数据规模、访问效率与工程落地。这比单独比较推荐模型的 AUC 更接近生产环境。

第三,这套问题正在外溢。实时 RAG、AI Agent 长期记忆和上下文缓存,也需要持续写入数据、按请求读取,并在延迟与成本之间取舍。

素材还记录了这项研究的 Hacker News 讨论数据:29 个点赞、5 条评论。讨论规模不大,但问题足够具体:AI 系统的性能上限,也在向存储层传导。

推荐系统真正难的是存储

一次推荐请求通常不只是一个数据库查询。

它可能读取用户画像、最近行为序列、候选物品特征和上下文特征,再执行多次召回与排序。请求量扩大后,存储系统面对的是高并发、持续更新、分布不均的混合负载。

这类负载有几个麻烦:

  • 用户行为持续写入,更新频率很高;
  • 热门内容会被反复访问,局部热点明显;
  • 推荐特征需要批量读取,但候选数据的访问模式不同;
  • 线上延迟预算有限,尾延迟容易影响整体链路;
  • 数据规模增长后,存储成本不能跟着请求量线性上涨。

这也是统一存储引擎值得关注的原因。

如果不同数据由不同系统承接,团队会面对组件数量、协议转换、缓存一致性和故障恢复等问题。统一不等于取消分层。更准确的理解,是把容量、缓存、索引和更新策略放在同一套设计边界内,让推荐链路知道数据在哪里、应该怎样访问。

这里不能过度推断。现有素材只有论文标题、链接和简短摘要,没有完整 benchmark 数字。仅凭这些信息,无法确认 USDB 采用哪种存储架构,也无法判断它在各类硬件上的表现。

但问题边界已经清楚:论文关注的是下一代推荐系统的存储扩展,而不是新的 embedding、Transformer 或排序网络。

从字节跳动实践看系统边界

USDB 的价值,需要放进字节跳动的推荐场景理解。

超大规模推荐系统同时面对三类矛盾:数据要完整,读取要快,基础设施成本还要可控。扩容可以解决部分问题,但延迟、运维复杂度和硬件利用率仍会留下缺口。

存储系统论文常见的切入方式,是先重新组织已有模型周围的数据路径,而不是先提出新模型。

把它映射到 AI Agent,会得到几个更具体的问题。

1. Agent 记忆不是向量库就够了

RAG 常用向量检索处理语义召回。但 Agent 的长期记忆还包含用户偏好、任务状态、工具结果和时间顺序。

这些数据的访问方式不同:

  • 语义记忆偏向近似检索;
  • 任务状态偏向按 session 和 key 精确读取;
  • 工具调用日志偏向追加写入;
  • 用户画像偏向频繁更新与低延迟读取。

如果把它们都压进同一种索引,存储层可能少了组件,复杂度却会留给应用层。

2. 每次推理都可能触发存储访问

聊天机器人的一次回答可能只读取短期上下文。长时间运行的 AI Agent 则会频繁触发检索、状态保存和工具结果回写。

假设一次 Agent step 包含 3 次检索、2 次状态更新和 1 次工具结果写入,那么 1,000 个并发任务并非简单的 1,000 条请求。单次推理会被放大成多轮 I/O。

存储层的尾延迟、缓存命中率和访问放大系数,会直接进入 Agent 的响应时间。

3. 缓存命中率影响单位任务成本

Agent 常见的热点数据包括:

  • 高频工具说明;
  • 稳定不变的知识片段;
  • 活跃会话状态;
  • 多个任务共享的用户或组织配置。

这些数据如果每次都访问远端存储,推理成本会随着调用次数增长。命中本地内存或分布式缓存,则可能减少读取时间。

但缓存不能只追求命中率。用户状态、权限信息和任务结果如果过期,返回内容可能比慢一点更糟。

USDB 这类统一存储研究,对 Agent 的启示不是把现有 RAG 换成 USDB。真正值得重新审视的是三类指标:每次任务的存储访问次数、P99 读取延迟、每百万次 Agent step 的存储成本。

AI Agent 基础设施怎么评估

如果把 Agent 基础设施拆开,至少有四层:

  1. 模型推理;
  2. 上下文与记忆;
  3. 工具调用;
  4. 持久化状态。

很多评测只看前两层,包括回答准确率、检索命中率和工具调用成功率。存储层很少出现在模型 benchmark 中,却会影响系统在真实并发下是否可用。

我更关心下面四个指标。

每次推理触发多少次 I/O

工具调用、记忆检索和状态检查都可能访问外部系统。一次 Agent step 如果产生 10 次网络请求,即使每次只花 10 毫秒,串行延迟也已经达到 100 毫秒。

可合并的查询应该合并。短期状态适合放在进程内。稳定知识可以预取。不要为了统一架构,让每次工具调用都绕一圈远端数据库。

P99 延迟是否可预测

平均延迟很好看的存储系统,对实时 Agent 未必够用。一次检索偶尔卡到 500 毫秒,用户看到的就是工具调用转圈。

评估时应同时记录 P50、P95 和 P99。只报均值,会掩盖最影响体验的尾部问题。

缓存命中率是否稳定

Agent 流量往往有明显重复性,但热点会变化。固定 TTL 可能导致缓存雪崩,也可能长期保存过期状态。

更实用的做法,是按数据类型设置策略:

  • 知识文件:长 TTL,配合版本号;
  • 用户画像:短 TTL,事件触发失效;
  • 会话状态:按 session 隔离;
  • 权限数据:单独处理失效和审计。

单位任务成本能否随规模下降

如果任务量翻倍,存储成本也翻倍,说明系统还没有利用规模效应。

更理想的路径是:热点数据缓存命中,长尾数据批量读取,日志顺序追加,归档数据按需回放。每层承担不同访问模式,而不是让所有数据走同一条昂贵路径。

这与 USDB 讨论的存储扩展方向相通。

不过,两者不能直接画等号。推荐系统的数据和访问模式相对稳定,Agent 生成的上下文、工具结果与会话状态则更动态。后者还受到 prompt 长度、工具数量、并发任务数及上下文管理策略影响。

目前能确认的结论

根据现有素材,可以确认:

  • 字节跳动发布了《USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance》。
  • 论文编号为 2611.02618。
  • 研究聚焦下一代推荐系统的存储扩展,涉及大规模数据存储、访问效率与工程落地。
  • 素材记录的 Hacker News 讨论数据为 29 个点赞、5 条评论。
  • 现有素材只有标题、链接和简短摘要,没有完整 benchmark 数字。

因此,现在不能断言 USDB 在性能上领先某个系统,也不能确认它是否已经开源。具体存储架构、硬件依赖、负载分布和生产部署方式,都需要阅读全文确认。

对 Agent 团队现在就能做的事情也很具体:记录每次 Agent step 的 I/O 次数,同时统计 P50、P95、P99 延迟,再按知识、状态、画像和权限数据分别设置缓存策略。先找出访问路径里的浪费,再决定是否需要引入新的存储系统。

编辑思考

USDB 重要,不是因为推荐系统换了一个数据库,而是因为它把模型背后的账摆到了台面上。模型分数提高 1%,如果存储成本增加 20%,上线价值仍可能为负。AI Agent 正在复制这条路径。推理调用越多,记忆检索和状态读写越频繁,存储会从后台组件变成每个 step 的固定成本。

我的预测是,未来 Agent 基础设施会出现类似“模型路由 + 存储路由”的分层设计:热状态进内存,稳定知识进缓存,长尾文档落对象存储,语义索引负责召回,精确状态交给 KV store。没有一种存储包打天下。

这次与过去不同的地方,是讨论对象从单次问答转向持续运行的 Agent。它可能借鉴推荐系统的高并发读取经验,但多轮工具调用和动态状态也更复杂。USDB 能否迁移到这一场景,目前还不能确定,要看完整论文中的 benchmark、硬件条件和一致性设计。

来源: https://arxiv.org/abs/2611.02618