大型語言模型

Jev 要重塑 LLM 架構:Transformer 的王座還穩嗎?

Simon Willison 介紹了一款名為 Jev 的新模型,主打「新型態 LLM」。該模型於 9 月 21 日登上 Hacker News 首頁,卻只有 20 分、3 則留言——這究竟是冷啟動的訊號,還是一項被低估的突破?

字級

Jev 是什麼?憑什麼登上 Hacker News 首頁

9 月 21 日,Simon Willison 的部落格更新了一篇短文,標題直接寫著 「Jev: A new shape for LLMs」——「new shape」這兩個詞沒加引號,也沒加問號。原文網址:simonwillison.net/2026/Sep/21/jev/。

Jev 的開發者將其定位為一種「新型 LLM」,主張走一條不同於當前主流架構的路。Simon 並不是那種會為平庸東西寫部落格的作者;他盯新模型的速度,在獨立評論者中算是最快的之一,Mistral 早期、Llama 各類變體、GPT-5 前瞻,基本上都是他第一個發聲。因此他願意撰文,至少代表 Jev 不是又一個 LoRA 微調套殼。

同一天,Jev 登上 Hacker News 首頁。分數 20,留言 3 則——這個比例有些詭異。正常情況下,HN 首頁貼文的留言數大約是分數的 30%–60%,20 分的貼文通常會有 8–15 則留言。3 則意味著:要嘛進來的人多但沒人敢開口,要嘛實際關注的人沒那麼多。兩種情況,後續會展開分析。

HN 貼文連結:item?id=49796843。

「新形狀」究竟新在哪?

坦白說,目前我寫不出確切的答案,因為公開資訊中:

  • 沒有 benchmark 數字
  • 沒有技術原理 paper 或 blog post
  • 沒有訓練方法說明
  • 沒有開源權重(截至 Simon 發稿時)

Simon 的部落格摘要本身就是一句話帶過:「A new LLM with a new shape.」 這種極簡措辭在 AI 圈並不常見,大家通常恨不得把「顛覆性」三個字塞進標題。

根據這些線索,我能推測的方向有幾個:

  1. 非 Transformer 主幹——例如狀態空間模型(Mamba 一脈)、線性注意力變體,或某種混合架構。
  2. 非自迴歸解碼——並產生 token、擴散式 LLM(像 Mercury 那種夾擊生成)。
  3. 新拓樸——非鏈式推理、非 token-by-token,改採圖結構或樹結構生成。
  4. 完全另起爐灶——以全新的記憶機制取代 KV cache。

我個人傾向認為最可能是 #1 或 #4,因為這是過去兩年非 Transformer 路線累積最深的方向。但這種猜測目前無法證實,只能等 Jev 自行揭露。

為何大家不愛留言——不是沒人看,是沒人敢評

20 分 / 3 則留言的奇怪比值,我提供一個解釋:

不是沒人看,是社群無從下手。

HN 上技術貼文的留言活躍度,與兩項要素高度相關:

  • 可驗證的 benchmark:MMLU、HELM、HumanEval、LiveCodeBench 等榜單數字一出,底下立刻吵成一片。
  • 可讀的程式碼 / 論文:要嘛有 arxiv link,要嘛有 GitHub repo,要嘛有 demo URL。

Jev 這三項都沒有。對於一個自稱「新形狀」的 LLM,連一張 loss curve 都沒放出來,留言區的資深使用者只會保持沉默——因為說什麼都是猜,沒人想當小丑。

這也解釋了為何 20 分卻還有 3 則留言——這 3 則大概都是好奇型短評(如「Interesting」、「Watching」),而非真正的技術討論。

我當年關注 Mamba 早期、Mistral 7B 外流那段時期,HN 上的討論曲線也是如此:先沉默,一旦有 repo 或 paper 立刻井噴。

Transformer 一統天下的這幾年,挑戰者們都怎麼了

將時鐘撥回 2023 年底至 2026 年初,Transformer 的替代品至少冒出過以下幾個:

  • Mamba / Mamba-2:狀態空間模型,線性複雜度。有 paper、有開源版本,但生態(Hugging Face、vLLM 支援)遠遠落後於 Llama 系列。
  • RWKV:RNN + Transformer 混合,強調長上下文高效 inference。小眾社群在跑,主流廠商基本沒接入。
  • RetNet / TransNormer:保留多尺度衰減注意力,號稱取代 Transformer。微軟系專案,學術影響力大,工業部署幾乎為零。
  • xLSTM:擴展 LSTM 的記憶機制。2024 年由 Sepp Hochreiter 團隊提出,paper 級熱度。
  • Mercury / diffusion LLM:擴散式生成,並行輸出 token。Inception Labs 操刀,商業 demo 已上線。

它們的共通點很扎心:inference 確實更便宜,但生態完全打不過 Transformer。

什麼是生態?

  • Hugging Face Transformers 一行程式碼載入
  • vLLM、TensorRT-LLM、llama.cpp 等推理框架原生支援
  • 社群微調(LoRA、QLoRA)的工具鏈
  • 教學資料、部落格、Stack Overflow 解答

這套體系不是一兩年能積累起來的。Llama 2 問世到 vLLM 穩定支援,中間花了一年多。Mamba 至今 vLLM 支援仍處於 experimental 狀態。

因此 Jev 若真是非 Transformer 路線,它要解決的第一個問題不是「我的模型更好」,而是「我的模型能被跑起來」。

我會如何驗證 Jev 是真材實料還是純 PPT

以下是我個人的實戰清單——若你想認真檢視一個新模型,按這個順序查:

1. 找 benchmark

第一眼鎖定三個榜單:

  • MMLU-Pro(綜合推理)
  • HumanEval+ / LiveCodeBench(程式碼)
  • IFEval(指令遵循)

若這三項都沒分數,先打 30% 折扣再聽。

2. 找推理成本

非 Transformer 模型最大的賣點通常是長上下文 inference 成本。問三個問題:

  • 100K token 上下文下,吞吐量多少 token/s?
  • KV cache 佔用多少顯存?
  • 部署門檻——單卡 A100 / H100 能跑多大?

3. 跑你自己的測試

別只信官方數字。我通常會跑:

# 簡單的長上下文檢索測試
import jev  # 假設的套件名
model = jev.load("jev-base")
context = "..." * 50000  # 50K token
question = "在第 47,382 個 token 處,作者提到了哪個城市名稱?"
response = model.generate(
    context=context,
    prompt=question,
    max_tokens=100,
)
print(response)
# 對比 Llama 3.1 70B 在同樣輸入下的回答

如果 Jev 真的擁有「新形狀」的賣點,長上下文檢索應該是它的強項。

4. 找程式碼 / 論文

  • 有 GitHub repo 嗎?star 數不重要,看 commit 頻率和 issue 回應速度。
  • 有 arxiv paper 嗎?看看是否只有架構圖沒有實驗。
  • 有 demo URL 嗎?能不能註冊就直接試用?

5. 何時該信,何時該觀望

  • 該信:開源權重 + 第三方復現 benchmark 一致 + 推理成本低於同檔 Llama
  • 該觀望:僅有 demo、閉源、benchmark 全為自家測試
  • 該直接忽略:連 demo 都沒有,benchmark 也是轉述別人的

按這個標準,Jev 目前處於「純觀望」階段。

編輯思考

「new shape」這三個字若為真,代表 2026 年 LLM 圈最大的敘事可能從「參數怎麼變大」轉向「架構能不能換」。這件事比 GPT-5 後下一代更大參數模型更值得關注——因為它影響的不是單點效能,而是整體推理成本曲線與硬體需求結構。

但我對這則新聞保持謹慎樂觀,理由有三:

第一,新架構 LLM 的死亡谷在生態,不在技術。Mamba、RWKV 都死在 Hugging Face 適配這一步,Jev 要嘛自行長出生態,要嘛被某家大廠收購後併入主流框架,否則三年內很可能消失在 AI 史書的腳註裡。

第二,Simon 的部落格不等於背書。他寫的是「這值得注意」,不是「這很厲害」。他寫 Llama 4、GPT-5、Claude 新版本同樣用類似語氣。讀者要分清「注意到」和「推薦」的差別。

第三,目前公開資訊太少。20 分 3 則留言這個數據本身就說明社群尚未形成共識。我個人預測:Jev 要嘛兩週內放出一份完整 paper + repo,要嘛兩週後從 HN 首頁消失、被下一個新模型蓋過。

我賭前者 30%,後者 60%,還有 10% 是被某家大廠悄悄收編,從此再無獨立消息。

不論哪種結局,2026 年剩下的幾個月,我會持續關注這件事。

來源(必須引用)

https://simonwillison.net/2026/Sep/21/jev/

來源: https://simonwillison.net/2026/Sep/21/jev/