Inception Labs 發布了 Mercury 2.5,採用擴散式架構,速度達到 1000+ tok/s,主打程式碼生成。這個數字在主流自迴歸模型上幾乎看不到。筆者翻閱了官方部落格與 HN 討論,把值得關注的重點整理如下。
Mercury 2.5 到底快在哪裡
官方基準測試中,Mercury 2.5 在程式碼補全任務上跑出 1000+ tokens/秒 的成績。對比一下:
- GPT-4o:約 80-100 tok/s
- Claude 3.5 Sonnet:約 60-80 tok/s
- Mercury 2.5:1000+ tok/s
差距達到 10-15 倍。這不是靠優化擠出來的,而是架構層級的根本差異。
自迴歸模型(GPT、Claude、Gemini 全部走這條路)一個字一個字吐出來,吐完一個才能算下一個,本質上是序列執行。擴散式 LLM 反過來:先生成一個粗糙的「草稿」,再迭代去噪,就像畫家先鋪底色再逐步細化。這套機制天生適合平行運算,多個 token 可以同時被精煉。
程式碼場景對這種平行化特別友善。程式碼區塊有明顯的結構(縮排、括號匹配、關鍵字),擴散模型可以一次把整個函式的骨架搭出來,再回頭填細節。這跟寫散文完全不同——不會看到擴散模型在寫小說上有什麼優勢,但在補全程式碼這件事上,它確實享有結構性紅利。
Inception Labs 自己的 benchmark 顯示,Mercury 2.5 在 HumanEval、MBPP 等程式碼任務上維持與 GPT-4o 相當的準確率,同時延遲降了一個數量級(來源:inceptionlabs.ai/blog/introducing-mercury-2-5)。
擴散式不是新東西,為何現在才紅
擴散模型在圖像生成領域早就稱王了(Stable Diffusion、Midjourney 都是)。文字上的嘗試從 2023 年就開始,Mercury 1 代去年已經推出,但一直沒有掀起太大波瀾。
Mercury 2.5 上線後登上 HN 首頁(來源:news.ycombinator.com/item?id=49616354)。社群討論集中在幾個面向:
- 「這是不是 RISC vs CISC 的時刻?」有人拿 CPU 架構之爭來類比——自迴歸是 CISC(複雜指令、序列執行),擴散是 RISC(精簡、平行)。這個比喻雖然粗略,但方向抓得準。
- 「生態系怎麼辦?」vLLM、TensorRT-LLM 這些主流推理框架全是為自迴歸設計的,擴散模型需要重新適配。
- 「能不能 fine-tune?」目前幾乎沒有可用的微調工具鏈。
- 「品質真的夠嗎?」基準漂亮是一回事,實際寫程式會不會犯蠢是另一回事。
HN 留言裡有人提到 Mercury 1 代在 Cursor 裡當 autocomplete 後端時已經堪用,但要生成整段複雜邏輯仍然吃力。2.5 在這塊的進步值得持續關注。
程式碼場景才是主戰場
Inception Labs 很清楚自己的定位——Mercury 2.5 不做通用聊天,不做長文件摘要,只專注程式碼補全與生成。
為什麼?因為 Cursor、Copilot、Continue.dev、Tabnine 這些 AI 程式輔助工具,延遲就是命脈。使用者敲到一半,游標閃了 300ms,體驗就崩了。程式碼補全比搜尋更敏感——使用者的心智模型是「我在打字」,任何可感知的等待都會被識別為卡頓。
擴散模型在這個場景下的優勢很明顯:
- 平行生成:整個函式的 token 可以一起算,不是一個一個吐
- 結構感知:程式碼的語法約束讓去噪過程更有效率
- 可截斷:就算算到一半停下來,結果通常還是可用的程式碼片段
呼叫範例大致長這樣(基於官方文件的 API 風格):
from inception import Mercury
client = Mercury(api_key="...")
response = client.completions.create(
model="mercury-2-5",
prompt="def fibonacci(n):\n ",
max_tokens=128,
temperature=0.2,
)
print(response.choices[0].text)
響應時間通常是幾十毫秒等級。在 Cursor 這類 IDE 裡,使用者感受就是「鍵入即出」。
但要注意——Mercury 2.5 的訓練資料偏向程式碼,所以做閒聊、寫信件會很尷尬。把它當通用 LLM 使用是錯誤的預期。
商業化難題:快是快了,誰要用?
這裡講一下反直覺的部分。
Mercury 2.5 速度確實驚人,但商業落地有三道關卡:
1. 生態系幾乎為零
vLLM、TGI(Text Generation Inference)、TensorRT-LLM 這些主流推理框架都是為自迴歸設計的。要在生產環境跑 Mercury,得自己搞一套推理基礎設施。對大多數公司來說,光這一步就足以打退堂鼓。
2. API 不相容
OpenAI API 是事實標準。LangChain、LlamaIndex、所有 Agent 框架都預設走 OpenAI 協議。Mercury 的原生 API 跟它不相容,代表接入成本不是零。Inception Labs 提供了 OpenAI 相容層,但功能勢必會打折。
3. 微調工具鏈缺位
企業用戶想在自己的程式碼庫上 fine-tune?目前幾乎沒有成熟方案。LoRA、QLoRA 這些技術都是為 Transformer 自迴歸設計的,擴散模型的微調流程得從頭研究。
我的判斷:速度優勢在 2026-2027 年會被自迴歸模型的快取優化(prompt caching、speculative decoding)追平一大截。Anthropic 的 prompt caching 已把重複 prefix 的成本降到 1/10,speculative decoding(小模型草稿 + 大模型驗證)也能輕鬆做到 2-3 倍加速。當 GPT-5、Claude 5 這些下一代模型原生整合這些優化時,Mercury 的 10x 優勢會縮水到 2-3x,到那個量級,速度就不再是決定性因素。
Inception Labs 真正的護城河應該是「AI 程式專用模型」這個定位,而不是單純的「快」。如果它能做出在 IDE 場景裡體驗明顯更好的產品(例如與 Cursor 深度整合),那才有搞頭。
編輯觀點
Mercury 2.5 這件事比表面看起來更重要,因為它不是「又一個 LLM 發布」,而是架構路線的實質分岔。
過去 5 年,LLM 幾乎全部走自迴歸路線,大家在同一個範式裡拼參數、拼資料、拼 RLHF。Mercury(加上更早的 Mistral 實驗、Google 的 diffusion-for-text 研究)證明了一條完全不同的路在工程上是可行的,而且有獨特的優勢——速度、結構化輸出、平行性。
這讓筆者想到 CPU 歷史上的 RISC vs CISC 之爭。短期內 CISC(自迴歸)因為生態成熟會繼續主導,但 RISC(擴散)在特定場景(低延遲、結構化、平行)會占住一塊地盤。長期來看,兩者可能融合——也許下一代模型會用自迴歸做高層規劃,用擴散做局部精修。
對從業者的實際意義:不要把雞蛋全放在「Transformer 自迴歸」這一個籃子裡。如果你的產品對延遲極度敏感(IDE 補全、即時語音、機器人控制),擴散式路線值得認真評估,至少跑跑 Mercury 的 API 看看實際體驗。
不確定的地方:擴散模型在長上下文(>32k tokens)與複雜推理任務上的表現,公開資料還很少。官方部落格主要是 HumanEval 這類短任務基準,長任務的真實表現需要等更多第三方測試出來。
速度會是差異化因素,但不會是終局。
參考來源: