字節跳動公開 USDB 論文,探討推薦系統如何擴充儲存規模。它並非新的推薦算法,而是針對高並行存取、低延遲與成本控制所設計的儲存方案。對 AI Agent 而言,這同樣關係到檢索速度與單一任務成本。
原始論文:USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
USDB 是什麼
推薦系統表面上演算法比拚,實際上也在比拚儲存效能。
模型可以離線訓練,特徵也能事先計算。當請求抵達時,系統必須在有限的延遲預算內讀取使用者特徵、候選內容與上下文資料。
如果資料無法容納、讀取速度太慢,或擴充成本過高,再好的模型也很難真正上線。
字節跳動發表的研究論文《USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance》,討論的正是這個問題。素材記錄的論文編號為 2611.02618,摘要涵蓋大規模資料儲存、存取效率與工程落地。
先說清楚:USDB 不是另一套推薦算法,而是處理推薦系統底層資料存取問題的方案。
USDB 為何值得研究
推薦系統通常被視為模型問題,包括召回、排序、重排與多任務學習;這篇論文標題強調的關鍵字卻是 storage。
這類系統通常先解決資料規模、讀寫路徑與硬體利用率,再討論模型結構能帶來多少收益。
USDB 值得研究,主要有三個原因。
第一,推薦系統是儲存壓力最直觀的 AI 應用。線上請求會持續讀取使用者輪廓、行為序列、物品特徵與模型參數。資料量龐大,存取模式也不完全相同。
第二,它將下一代推薦系統視為完整的系統問題,而不是單一模型模組。儲存引擎必須同時承接資料規模、存取效率與工程落地;這比單獨比較推薦模型的 AUC 更接近正式環境。
第三,這類問題正外溢至其他領域。即時 RAG、AI Agent 長期記憶與上下文快取,同樣需要持續寫入資料、依請求讀取,並在延遲與成本之間取捨。
素材也記錄了這項研究的 Hacker News 討論數據:29 個讚、5 則留言。討論規模不大,但問題相當具體:AI 系統的效能上限,也會逐漸反映到儲存層。
推薦系統真正困難的是儲存
一次推薦請求通常不只是一次資料庫查詢。
它可能讀取使用者輪廓、最近行為序列、候選物品特徵與上下文特徵,接著執行多次召回與排序。請求量擴大後,儲存系統面對的是高並行、持續更新且分布不均的混合負載。
這類負載有幾個難處:
- 使用者行為持續寫入,更新頻率很高;
- 熱門內容會被反覆存取,呈現明顯的局部熱點;
- 推薦特徵需要批次讀取,但候選資料的存取模式並不相同;
- 線上延遲預算有限,尾延遲容易影響整條服務鏈;
- 資料規模成長後,儲存成本不能跟著請求量線性增加。
這也是統一儲存引擎值得關注的原因。
如果不同資料由不同系統承接,團隊就會面臨元件數量、協定轉換、快取一致性与故障復原等問題。統一不代表取消分層;更精確地說,是把容量、快取、索引與更新策略納入同一套設計邊界,讓推薦鏈路清楚掌握資料位於何處,以及該如何存取。
但不宜過度推論。現有素材只有論文標題、連結與簡短摘要,沒有完整的 benchmark 數字。單憑這些資訊,無法確認 USDB 採用哪種儲存架構,也無法判斷它在不同硬體上的表現。
可以確定的是問題範圍:論文關注的是下一代推薦系統的儲存擴充,而不是新的 embedding、Transformer 或排序網路。
從字節跳動的實務看見系統邊界
USDB 的價值,需要放進字節跳動的推薦場景中理解。
超大規模推薦系統同時面對三項矛盾:資料必須完整、讀取必須快速,而且基礎設施成本仍需可控。擴充可以解決部分問題,但延遲、維運複雜度與硬體利用率仍會留下缺口。
儲存系統論文常見的研究方式,是先重新組織既有模型周圍的資料路徑,而不是優先提出新模型。
將這套思路對應到 AI Agent,會衍生出幾個更具體的問題。
1. Agent 記憶不是只有向量資料庫就夠了
RAG 常用向量檢索處理語意召回,但 Agent 的長期記憶還包含使用者偏好、任務狀態、工具結果與時間順序。
這些資料的存取方式並不相同:
- 語意記憶偏向近似檢索;
- 任務狀態偏向依 session 與 key 精確讀取;
- 工具呼叫紀錄偏向追加寫入;
- 使用者輪廓偏向頻繁更新與低延遲讀取。
如果全部塞進同一種索引,儲存層雖然減少了元件,複雜度卻只是被轉移到應用層。
2. 每次推理都可能觸發儲存存取
聊天機器人的一次回答,可能只需讀取短期上下文;長時間運作的 AI Agent 則會頻繁觸發檢索、狀態保存與工具結果回寫。
假設一次 Agent step 包含 3 次檢索、2 次狀態更新與 1 次工具結果寫入,那麼 1,000 個並行任務並不只是 1,000 個請求。單次推理會被放大為多輪 I/O。
儲存層的尾延遲、快取命中率與存取放大係數,都會直接進入 Agent 的回應時間。
3. 快取命中率會影響單一任務成本
Agent 常見的熱點資料包括:
- 高頻使用的工具說明;
- 穩定不變的知識片段;
- 活躍的會話狀態;
- 多個任務共用的使用者或組織設定。
如果每次都存取遠端儲存,推理成本會隨呼叫次數增加;命中本地記憶體或分散式快取,則可能縮短讀取時間。
但快取不能只追求命中率。使用者狀態、權限資訊與任務結果一旦過期,回傳錯誤內容可能比稍微延遲更糟。
USDB 這類統一儲存研究對 Agent 的啟示,並不是將既有 RAG 換成 USDB。更值得重新檢視的是三項指標:每次任務的儲存存取次數、P99 讀取延遲,以及每百萬次 Agent step 的儲存成本。
如何評估 AI Agent 基礎設施
如果拆解 Agent 基礎設施,至少可以分成四層:
- 模型推理;
- 上下文與記憶;
- 工具呼叫;
- 持久化狀態。
許多評測只觀察前兩層,包括回答準確率、檢索命中率與工具呼叫成功率。儲存層很少出現在模型 benchmark 中,卻會影響系統在真實並行環境下是否可用。
以下四項指標更值得關注。
每次推理觸發多少次 I/O
工具呼叫、記憶檢索與狀態檢查都可能存取外部系統。一次 Agent step 如果產生 10 次網路請求,即使每次僅花費 10 毫秒,串行延遲也已達到 100 毫秒。
能合併的查詢就應該合併。短期狀態適合放在行程內,稳定知識可以預先載入。不應為了統一架構,讓每次工具呼叫都繞行遠端資料庫。
P99 延遲是否可預測
平均延遲好看的儲存系統,對即時 Agent 未必足夠。一次檢索若偶爾卡到 500 毫秒,使用者看到的就是工具呼叫持續轉圈。
評估時應同時記錄 P50、P95 與 P99。只呈報平均值,會掩蓋最影響使用體驗的尾端問題。
快取命中率是否穩定
Agent 流量通常具有明顯重複性,但熱點會變動。固定 TTL 可能造成快取雪崩,也可能讓過期狀態被長期保存。
更實用的做法,是依資料類型設定策略:
- 知識文件:採用長 TTL,搭配版本號;
- 使用者輪廓:採用短 TTL,並由事件觸發失效;
- 會話狀態:依 session 隔離;
- 權限資料:另行處理失效與稽核。
單一任務成本能否隨規模下降
如果任務量翻倍,儲存成本也跟著翻倍,代表系統尚未善用規模效應。
更理想的分工是:熱點資料由快取承接,長尾資料批次讀取,紀錄依序追加,歸檔資料依需求回放。每一層負責不同的存取模式,而不是讓所有資料走同一條昂貴路徑。
這與 USDB 所討論的儲存擴充方向相通。
但兩者不能直接畫上等號。推薦系統的資料與存取模式相對穩定;Agent 產生的上下文、工具結果與會話狀態則更動態。後者還受到 prompt 長度、工具數量、並行任務數與上下文管理策略影響。
目前能確認的結論
依據現有素材,可以確認:
- 字節跳動發表了《USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance》。
- 論文編號為
2611.02618。 - 研究聚焦於下一代推薦系統的儲存擴充,涵蓋大規模資料儲存、存取效率與工程落地。
- 素材記錄的 Hacker News 討論數據為 29 個讚、5 則留言。
- 現有素材只有標題、連結與簡短摘要,沒有完整的 benchmark 數字。
因此,目前無法斷言 USDB 的效能領先哪些系統,也無法確認是否已開源。具體儲存架構、硬體依賴、負載分布與正式部署方式,仍須閱讀完整論文才能確認。
Agent 團隊現在就能採取的做法也很明確:記錄每次 Agent step 的 I/O 次數,同時統計 P50、P95、P99 延遲,再分別為知識、狀態、使用者輪廓與權限資料設定快取策略。先找出存取路徑中的浪費,再決定是否需要導入新的儲存系統。
編輯觀察
USDB 之所以重要,不是因為推薦系統換了一套資料庫,而是它把模型背後的成本攤到了檯面上。如果模型分數提高 1%,儲存成本卻增加 20%,上線價值仍可能為負。AI Agent 正走過相同的路徑:推理呼叫越多,記憶檢索與狀態讀寫越頻繁,儲存也會從背景元件變成每個 step 的固定成本。
未來的 Agent 基礎設施可能出現類似「模型路由 + 儲存路由」的分層設計:熱狀態放進記憶體,穩定知識放進快取,長尾文件置於物件儲存,語意索引負責召回,精確狀態交由 KV store 處理。不存在能包打天下的單一儲存方案。
這次與過往不同之處,在於討論對象從單次問答轉向持續運作的 Agent。它或許能借鑑推薦系統的高並行讀取經驗,但多輪工具呼叫與動態狀態也更複雜。USDB 能否移植到這類場景,目前仍無法確定,仍待完整論文中的 benchmark、硬體條件與一致性設計來驗證。