大型語言模型

Mercury 3 把 Diffusion LLM 推向生產等級,自回歸還能穩坐王座嗎?

Inception Labs 推出首款可商用的 diffusion 語言模型,獲得 a16z、Nvidia、微軟共同押注。這條非自回歸路線是否足以撼動 autoregressive 的預設地位?

字級

Mercury 3 到底是什麼

一句話:用 diffusion 範式做 LLM,token 並行生成,不是逐 token 解碼。

傳統 LLM(GPT、Claude、Gemini 幾乎都是)走的是 autoregressive(自回歸)路線——一個 token 接一個 token 往外吐,前一個不出來後面只能乾等。Mercury 3 的 diffusion 路線則相反,它會先「猜」一整段 token 的分佈,再透過多步 refinement 把雜訊迭代成可讀輸出,思路來自影像生成領域的 diffusion。

Mercury 1 和 2 已經在寫程式、做 agent 任務。3 是把這條路拉到 production inference——能跑反向代理、能做服務端推理,不是邊寫邊跑 demo。

定位上,Inception Labs 沒想做「通用聊天 LLM」。他們的目標是 coding 和 agent 這種對延遲敏感的場景——慢一秒,agent 就卡在那裡等你回話。

來源:Inception Labs 官方部落格

速度與成本,數字到底多誇張

Inception 公布的幾個數據點(自家 benchmark):

  • 推理延遲:在 coding agent 任務上,Mercury 3 比主流自回歸模型快一個數量級
  • 成本:同上場景,單位 token 成本比 GPT-4o、Claude 這類低一個數量級

我看數字有個習慣:先打 5 折再看。就算實際只快 3 倍、成本只省一半,對 agent 場景也是質變。

為什麼?因為 agent 不是一次對話,是幾百次 tool call 串起來。每一次 LLM 呼叫的延遲都會被疊加。一個寫程式的 agent 一晚跑 500 次呼叫,每次慢 200ms 就是 100 秒的純等待。如果 diffusion 能把單次延遲從 800ms 砍到 80ms,這個 agent 就從「能湊合用」變成「真的能用」。

另外,diffusion 的並行生成讓 batching 效率天然更高。自回歸模型你想 batch 也只能 prefill 部分 batch,decode 階段很難並行;diffusion 整段一起跑,GPU 使用率上去單位成本就下來。

這是範式差異,不是邊際優化。

投資名單比技術更值得看

技術可以吹,投資人不會為吹牛買單。

Mercury 3 的投資方:

  • a16z:Andreessen Horowitz,押非主流路徑的老手
  • Nvidia:算力霸主,自己做 GPU 也投資替代範式
  • Microsoft:Azure 是最大的 LLM 推理雲之一,掏錢代表認真考慮整合

三方同時下注,而且都是真金白銀,不是「策略合作」那種公關詞。這代表不是實驗室玩具。

Diffusion LLM 不是新概念,為何這次能落地

Diffusion 做文字這件事,至少七年 一直在試:

  • 2022 年開始,陸續有團隊嘗試用 diffusion 做文字生成
  • Google、Meta、Salesforce Research 都有相關論文
  • 但都沒跑到 production 等級——規模上不去(幾十億參數就觸頂),或品質比不過自回歸

Mercury 3 這次不一樣在哪:

  1. 規模上來了。能跑在和 GPT-4o、Claude 同檔的硬體上,扛得住 production 流量
  2. 真上線了。不是 paper,不是 demo,是有客戶付費使用的 production deployment
  3. 場景對了。coding 和 agent 這類延遲敏感的場景,是 diffusion 範式天然占便宜的領域

之前所有嘗試都沒落地,是因為「規模 + 品質 + 部署」這三件事很難同時做到。Inception 這次至少做到兩件半——規模和部署肯定到位,品質還要等獨立 benchmark 出來才能確認。

對 Agent 生態的實際衝擊

Agent 場景對延遲敏感,這點上一節已經講過。具體會衝擊哪些產品?

最直接的是 coding agent:Cursor、Claude Code、Devin 這類產品,每一步都在叫 LLM,慢了就卡。Mercury 3 如果真能穩住低延遲,會先吃掉這一塊。

再來是 browser agent、computer use agent:這些需要更短的回饋迴圈才能讓使用者感覺流暢。自建(self-hosted)路徑上,自架 diffusion 服務的 pipeline 可以壓得更低單位成本。

再遠一點是 agent 編排層(LangGraph、狀態圖、A2A 協定)——它們不直接呼叫 Mercury 3,但下游 model 變快,整個編排的 throughput 就拉上去了。

預測接下來 6–12 個月可能發生的事:

  1. Coding agent 廠商會開始測試 Mercury 3——Cursor、Cognition(Devin)這些是第一批潛在客戶
  2. vLLM 這類推理框架會開始支援 diffusion LLM——vLLM、TensorRT-LLM 現在都是為自回歸設計的,需要適配
  3. 雲端服務商會整合——Azure 都投錢了,邏輯上會優先整合進自己的 model serving
  4. 開源 diffusion LLM 會出現——Meta、Mistral、Qwen 這些開源玩家會跟進,否則 agent 框架的預設 backend 會被換掉

不確定的部分:自回歸的護城河還在——RLHF、inference-time scaling(o1、o3 那套)都是為自回歸最佳化的,diffusion 這邊的 post-training 還沒打通。

編輯觀點

為什麼這次和之前所有 diffusion 文字模型不同?我的判斷:之前所有的失敗都沒落地,是規模、品質、部署這三件事只能做到兩件。規模到了但品質比不過自回歸,或品質夠了但跑不到 production 流量。Inception 這次三件都做到的可能性很高——但不能只說做到。客戶真金白銀付費、生產環境跑起來,這才是真正的驗證。

反共識一點的想法:Mercury 3 真正威脅的,不是 GPT-5、Claude 4.5 這些下一代自回歸旗艦,而是自回歸這條路本身的邊際效益。OpenAI、Anthropic 現在在 inference-time scaling 上越走越深——o1、o3、Claude with thinking——這些本質上是把自回歸的延遲拉得更長來換品質。如果 diffusion 能用 1/10 的延遲達到 90% 的品質,自回歸那條「用更多 compute 換更好答案」的路就被繞過了。

不確定的部分必須講:

  • Mercury 3 在 agent 場景外 的能力未知——長上下文、複雜推理、多輪對話這些 benchmark 還沒看到
  • 自回歸的護城河——RLHF、thinking 這些 post-training 技術都深度綁定自回歸,diffusion 這邊的對齊還沒打通

但有一件事是確定的:範式之爭被擺上檯面了。Mercury 3 不是「又一個 LLM」,是自回歸之外的第二條路被產品化了。這件事 GPT、Claude 都沒做到。

接下來 12 個月,看 Mercury 3 在生產環境能不能穩住。如果能,自回歸的「預設地位」就要重新洗牌一次了。

來源: https://www.inceptionlabs.ai/blog/introducing-mercury-3