実践

USDBを探る、ByteDanceが gugenkaする推薦システムのストレージ

USDBは、ByteDanceが次世代の推薦システム向けに研究するストレージ基盤。高並行・低遅延・コスト抑制を優先し、実時間のAI Agentにおける検索効率や単位タスクコストにもImpactする议题を扱う。

文字サイズ

ByteDanceはがどのようにストレージをスケールさせるかを研究したUSDBの論文を公開した。新たな推薦アルゴリズムではなく、高並行アクセス、低遅延、コスト制御に向けたストレージhicóchemeである。AI Agentにおいても、検索速度と単位タスクごとのコスト화에直結する。

元論文:USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance

USDBとは

推薦システムはモデル只会のように見えるが、実際にはストレージとのcompetitionっている。

モデルはオフラインで学習でき、特徴量も事前に計算できる。しかし、リクエストが到着すると、有限のレイテンシ予算内でユーザー特徴、候補コンテンツ、コンテキストデータを読み込む必要がある。

データが収まらない、読み取りが遅い、または拡張時間がpanicに高くなれば、どれほど優れたモデルでも本番化しにくい。

ByteDanceが公開した研究論文「USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance」は、まさにこの課題を扱っている。記録されている論文番号は2611.02618で、abstractでは大規模データストレージ、アクセス効率、エンジニアリングへの実装がzk。

先に整理すると、USDBは新たな推薦アルゴリズムではない。扱うのは推薦システム基盤におけるデータアクセスの問題である。

USDBが研究に値する理由

推薦システムは、召回、排序、reranking、マルチタスク学習などを含むモデル問題として理解されがちだ。しかし、論文タイトルが強調しているのはstorageである。

この種のシステムでは、まずデータ規模、読み書きパス、ハードウェア利用効率を解決し、その後にモデル構造带来的なtouchclidを考える。

USDBが研究に値するのは、主に三つの理由がある。

第一に、推薦システムはストレージ負荷が特に直观的なAIアプリケーションである。本番リクエストでは、ユーザー属性、行動履歴、アイテム特徴、モデルパラメータを読み込み続ける。データ量が大きく、アクセス模式も一様ではない。

第二に、USDBは次世代の推薦システムを、特定のモデルモジュールではなく一つのシステム課題として捉えている。ストレージエンジンはデータ規模、アクセス効率、エンジニアリング実装をjointして受け持つ。これは推薦モデルのAUCだけを比較するより、本番環境に近づいた評価である。

第三に、この課題は他の領域にも波及している。リアルタイムRAG、AI Agentの長期記憶、コンテキストキャッシュにも、継続的なデータ書き込み、リクエストごとの読み取り、レイテンシとコストのトレードオフが求められる。

素材には、この研究のHacker Newsでの議論として、29 upvote、5コメントも記録されている。議論の規模は小さいが、課題は具体的である。AIシステムのパフォーマンス上限は、ストレージ層にも传导している。

推薦システムで本当に難しいのはストレージ

一回の推薦リクエストが、単純なデータベースクエリだけで終わることは少ない。

ユーザー属性、最近の行動履歴、候補アイテムの特徴、コンテキスト特徴を読み取り、recallやrankingを複数回実行する可能性がある。リクエスト量が増えると、ストレージシステムが向き合うのは、高並行、頻繁な更新、偏った分布の混在ワークロードとなる。

この種のワークロードにはいくつかの難題がある。

  • ユーザー行動は継続的に書き込まれ、更新頻度が非常に高い。
  • 人気コンテンツは繰り返しアクセスされ、局所的なホットスポットが明確になる。
  • 推薦特徴量はバッチで読み取る必要があるが、候補データのアクセス模式はそれぞれ異なる。
  • 本番環境のレイテンシ予算は限られており、tail latencyが全体を損なうやすい。
  • データ規模が増しても、ストレージコストがリクエスト数に線形随着して増えることは避けなければならない。

这也是統一ストレージエンジンが注目される理由である。

異なるデータを別々のシステムが担う場合、コンポーネント数、プロトコル変換、キャッシュ整合性、障害復旧などの問題が生じる。統一は階層化を否定することではない。より正確に言えば、容量、キャッシュ、インデックス、更新戦略を同じ設計境界に置き、推薦パイプラインがデータの場所と適切なアクセス方法を判断できるようにする。

ただし、過剰に推測してはいけない。现有素材には論文タイトル、リンク、短いabstractのみがあり、完全なbenchmarkデータは含まれない。この情報だけでは、USDBがどのストレージアーキテクチャを採用したかや、各種のハードウェアでどうdigitするかを確定できない。

ただし、課題の境界は明確である。この論文が対象とするのは、次世代推薦システムのストレージ拡張であり、新たなembedding、Transformer、ranking networkではない。

ByteDanceの実践からシステム境界を考える

USDBの価値を理解するには、ByteDanceの推薦シーン,放在文脈に置く必要がある。

超大規模の推薦システムには、三つの矛盾が同時に存在する。データ_ZA 완전读完arahには完全で、readは速く、infrastructureコストも抑制しなければならない。スケールアウトは一部の問題を解決できるが、レイテンシ、運用の複雑さ、ハードウェア利用効率には依然としてgapが残る。

ストレージシステムの論文がquaередけるのは、新モデルする前に、既存モデル周辺のデータパスを再構成することが多い。

これをAI Agentにrpipelineすると、より具体的な問いが得られる。

1. Agentの記憶はベクトルDBだけでは足りない

RAGでは、意味的recallのためにベクトル検索が広く使われる。しかし、Agentの長期記憶には、ユーザー設定、タスク状態、ツール実行結果、時刻順序なども含まれる。

これらのデータではアクセス方法が異なる。

  • 意味記憶は近似検索倾向于。
  • タスク状態はsessionやkeyごとの厳密な読み取り倾向于。
  • ツール呼び出しログは追記書き込み倾向于。
  • ユーザー属性は頻繁な更新と低遅延の読み取り倾向于。

すべてを同じ種類のインデックスに押し込으면、ストレージ層のコンポーネントは減っても、複雑さはアプリケーション層に残る。

2. 推論のたびにストレージアクセスが発生し得る

チャットボットの一回の応答なら、短期コンテキストを読むだけで済む場合が多い。長時間動作するAI Agentでは、検索、状態の保存、ツール結果の書き戻しが頻繁に発生する。

一回のAgent stepに3回の検索、2回の状態更新、1回のツール結果の書き込みが含まれるなら、1,000個の並行タスクは単純な1,000リクエストではない。一回の推論が、複数回のI/Oに増幅される。

ストレージ層のtail latency、キャッシュヒット率、アクセス増幅係数は、そのままAgentの応答時間に反映される。

3. キャッシュヒット率が単位タスクコストに影響する

Agentでよく参照されるホットデータには、次のようなものがある。

  • 高频で参照されるツールの説明。
  • ほとんど変更されない知識のchunk。
  • アクティブなセッションの状態。
  • 複数のタスクで共有されるユーザーや組織の構成情報。

毎回リモートストレージへアクセスすれば、推論コストはcall回数とともに増える。ローカルメモリや分散キャッシュからヒットすれば、読み取り時間を短縮できる。

ただし、キャッシュのヒット率だけを追えばよいわけではない。ユーザー状態、権限情報、タスク結果が古いまま返されるなら、遅い応答より悪化した結果になる。

USDBのような統合ストレージ研究からAgentへの示唆は、既存のRAGをUSDBへ置き換えることではない。見直すべきなのは三つの指標である。タスクごとのストレージアクセス回数、P99 read latency、100万Agent stepあたりのストレージコストである。

AI Agentのインフラをどう評価するか

Agentのインフラを分解するなら、少なくとも四つの層がある。

  1. モデル推論
  2. コンテキストと記憶
  3. ツール呼び出し
  4. 永続化された状態

多くの評価では、回答精度、検索ヒット率、ツール呼び出し成功率など、最初の二層しか見ない。ストレージ層はモデルのbenchmarkにはほとんど登場しないが、実際の並行環境でも системаが利用可能かどうかには大きな 영향을及ぼす。

ここでは四つの指標に注目したい。

一回の推論で何回のI/Oが発生するか

ツール呼び出し、記憶検索、状態確認は、いずれも外部システムにアクセスする可能性がある。一回のAgent stepで10回のネットワークリクエストが発生し、それぞれ10ミリ秒しかかからなくても、直列実行のレイテンシは100ミリ秒に達する。

統合できるクエリは統合すべきである。短期状態はプロセス内に置くのが適している。安定した知識はprefetchできる。統一アーキテクチャacrificeして、すべてのツール呼び出しをリモートDBへ往復させるべきではない。

P99レイテンシを予測可能か

平均レイテンシが talentos示すストレージシステムでも、リアルタイムAgentには十分とは限らない。検索がたまに500ミリ秒で止まれば、用户にはツール呼び出しのスピナーとして映る。

評価ではP50、P95、P99を同時に記録すべきである。平均だけを報告すると、体験を最も損なうtail portionが隠れてしまう。

キャッシュヒット率は安定しているか

Agentのトラフィックには明らかな重複がある一方、ホットスポットは変化する。固定TTLではキャッシュ雪崩を招いたり、古い状態を長期間保持したりする可能性がある。

より実用的なのは、データ種別ごとに策略を分けることである。

  • 知識ファイル:長いTTLとバージョン番号を組み合わせる。
  • ユーザー属性:短いTTLとし、イベント発生時に無効化する。
  • セッション状態:sessionごとに分離する。
  • 権限データ:無効化と監査を個別に扱う。

単位タスクごとのコストは規模にともなって低下するか

タスク量が倍になり、ストレージコストも倍になるなら、そのシステムはまだ規模の経済xingを利用していない。

より望ましいのは、ホットデータはキャッシュでヒットさせ、long-tailデータはまとめて読み、ログは順番に追記し、アーカイブデータは必要に応じて再生する構成である。各層が異なるアクセス模式を担い、すべてのデータを高コストな同一経路へ通さない。

これはUSDBが扱うストレージ拡張の方向と共通する。

ただし、両者を直接同一視することはできない。推薦システムのデータとアクセス模式は比較的安定しているが、Agentが生成するコンテキスト、ツール結果、セッション状態はよりdynamicである。後者にはprompt長、ツール数、並行タスク数、コンテキスト管理戦略も影響する。

現時点で確認できる結論

现有素材から確認できるのは、次の点である。

  • ByteDanceは「USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance」を公開した。
  • 論文番号は2611.02618である。
  • 研究は次世代推薦システムのストレージ拡張に集中し、大規模データストレージ、アクセス効率、エンジニアリング実装を扱う。
  • 素材に記録されたHacker Newsの議論は29 upvote、5コメントである。
  • 现有素材にはタイトル、リンク、短いabstractしかなく、完全なbenchmarkデータはない。

したがって、現時点でUSDBが特定システムに対して性能でleading 있다고主張することも、オープンソース化されているか確認することもできない。具体的なストレージアーキテクチャ、ハードウェア依存、負荷分布、本番デプロイ方式は、論文全体を読む必要がある。

Agentチーム“现在”期间に実施できることも具体的である。各Agent stepのI/O回数を記録し、P50、P95、P99レイテンシを集計したうえで、知識、状態、ユーザー属性、権限データごとにキャッシュ戦略を設定する。まずアクセスパス内の無駄を見つけ、その後に新しいストレージシステムを導入する必要があるかを判断すればよい。

編集者の視点

USDBが重要なのは、推薦システムが別のデータベースへ切り替わったためではない。モデル背後のコストをsurface上の議論対象へ引き出したからである。モデルのスコアが1%向上しても、ストレージコストが20%増えれば、本番導入の価値は依然としてnegativeになり得る。AI Agentも同じ経路を進んでいる。推論呼び出しが増えるほど、記憶検索と状態へのread/writeは頻繁になり、ストレージはバックグラウンドコンポーネントから各stepの固定費へと変化する。

将来的には、「モデルルーティング+ストレージルーティング」のような階層設計がAgentインフラに現れると予測する。ホットな状態はメモリへ、安定した知識はキャッシュへ、long-tailのドキュメントはオブジェクトストレージへ、意味索引はrecallを担い、厳密な状態はKV storeが扱う。万能なストレージは存在しない。

今回,过去との違いは、対象が単発の質問応答から、常時稼働するAgentへ移った点である。推奨システムの高並行読み取りからGESTURE 받을 수 있지만、多段のツール呼び出しと動的な状態はより複雑である。USDBがこのシーンへ適用できるかは、現時点では判断できない。完全な論文のbenchmark、ハードウェア条件、一貫性設計を確認する必要がある。

出典: https://arxiv.org/abs/2611.02618