大型語言模型

一張 3090 就能跑:美國開源模型這次瞄準的不是榜首,是你桌上的 GPU

Muse 推出 Glimmer 與 Spark 兩款開放權重模型,Glimmer 直接鎖定消費級 GPU。3090 的選擇絕非偶然——背後是一場敘事話語權的爭奪戰。

字級

RTX 3090 是個奇怪的錨點

3090 在 2024 年早已不是旗艦卡——4090 效能比它強 50%,功耗更低,5090 才剛在 CES 亮相。但在開源模型的宣傳裡,3090 出現的頻率遠高於這兩張新卡。原因不複雜:

  • 市場流通量大。2021-2022 礦潮期間,大量 3090 被礦工掃走。礦潮結束後這些卡流入二手市場,現在在二手平台上一張狀態不錯的 3090 大約台幣兩萬上下
  • 24GB 顯示記憶體。這才是關鍵——4090 只有 16GB,跑 70B 模型得靠量化加 CPU offload,體驗很差。3090 的 24GB 能塞下量化後的 13B 到 30B 模型,勉強能對話
  • 不用換電源或機殼。大部分工作站的電源供應器直接帶得動

所以選 3090 不是因為它效能最好,是因為最多人手上有。Muse 這步定位相當精明——他們的目標客戶不是要買新卡的開發者,是家裡本來就有一張在角落吃灰的 3090 的人。

Glimmer 和 Spark 定位完全不同

Muse 這次一口氣發了兩個模型,但定位差距很大:

  • Glimmer:小模型,目標硬體是單卡 3090(24GB)
  • Spark:大模型(推測),目標硬體是多卡或 H100

一大一小的組合不是新招。Meta 當年發 Llama 3 也是同樣套路——8B 和 70B 一起出,讓開發者先用小的做 POC,覺得不夠再換大的。

但 Glimmer 和 Spark 的具體參數 Muse 沒公佈太多。Latent Space 的報導裡只提到 "Glimmer runs on a single RTX 3090"[^1],沒給具體的參數量、上下文長度、訓練資料這些細節。這是開放權重模型的通病:放權重不放技術報告,外界只能猜。

「Personal Superintelligence」這個詞組很搶眼

Sam Altman 今年稍早在部落格文章裡首次用「Superintelligence」來描述 OpenAI 的願景。Muse 現在掛出「Personal Superintelligence promise」這個說法,明顯在蹭話題熱度。

問題來了——加上「Personal」前綴,到底只是行銷話術還是真的有差異化?

我的判斷是:這個詞組在開放權重加本地部署的脈絡下確實有實際意涵。

「Personal」在這個情境下指的不是「為你個人化」,而是:

  • 資料不離開你的機器
  • 不經過第三方 API
  • 可以微調、可以修改、可以商用(看授權條款而定)
  • 不受原廠政策變動影響

這和 OpenAI 的「Superintelligence」是兩個方向——OpenAI 是集中式的、極為強大的中心化 AI;「Personal Superintelligence」是去中心化的、跑在你桌上的 AI。

兩種敘事在搶同一個心智位置。

美國開源陣營的敘事焦慮

過去半年,開源榜單的風向變了:

  • DeepSeek V3 與 R1 在 LMSys、OpenCompass 上霸榜
  • Qwen 2.5 系列在 HuggingFace 下載量穩居前三
  • Kimi K2 在長文本任務上反超 GPT-4
  • GLM-4.5 與智譜在多語言場景佔據優勢

中國廠商把「開源模型」這個標籤的預設聯想,從「美國大廠的產品」拉到了「中國團隊的作品」這一邊。

在這個背景下看 Latent Space 給 Muse 的定性——「a small win for American open models」[^1]——就特別有意思。他們刻意強調「American」這個詞,表示現在這個標籤是有意義的,是值得去爭奪的。

Glimmer 在這個意義上不是技術產物,是政治正確的產物。它不見得比 Qwen2.5-32B 強,甚至不見得比 Llama 3.1-8B 強,但它得是美國人做的、得在 3090 上能跑、得打開放權重的旗號。這幾個條件同時滿足,才算「a small win」。

開放權重不等於開源,但這次可能夠用了

Glimmer 是 Open Weights,不是 Open Source。差別在哪:

  • Open Weights:放出模型權重檔案讓你下載跑,但不提供訓練程式碼、不提供訓練資料、不提供資料處理流程
  • Open Source:上述全部公開,且通常使用 OSI 認證的授權條款

學術界對 Open Weights 一直有批評——Llama 系列被詬病的也是這點:「你只放了權重,我沒辦法重現你的訓練過程,這算什麼開源?」

但對個人用戶和中小公司來說,這個區分其實沒那麼重要。能本地跑、能微調、商用限制少(要看具體授權條款),這三點達到就夠用。Glimmer 的真正價值不在學術純粹性,在可用性——一張 3090 就能跑,這比什麼都實際。

一個判斷:Glimmer 不會改變格局,但 Spark 可能會

我的判斷:

Glimmer 不會改變格局。

小模型做 demo 沒問題,做產品力有未逮。8B 級距的模型現在已經算是「玩具」等級——聊天可以,寫程式不行,做 Agent 不夠用,RAG 召回品質也上不去。Qwen2.5-7B、Llama 3.1-8B 在這個區間殺了快一年,Glimmer 想突圍得有差異化賣點,目前看宣傳裡沒提。

Spark 可能會。

但這得看 benchmark。如果 Spark 真的是 70B 或以上量級,且在程式設計、Agent、長上下文這幾個維度能壓過 Llama 3.1-70B,那 Muse 才有重新評估的價值。現在 Latent Space 的報導對 Spark 的技術細節幾乎沒提,只能等 Muse 自己放消息。

結語

Glimmer 的 3090 錨點、Personal Superintelligence 的話術、Open Weights 的定位——這三點拼在一起,本質上是在打一張「反 SaaS」的牌:不訂閱、不上傳、不依賴原廠、一次下載永久使用。

這套打法 DeepSeek 也用過,而且用得更徹底。Glimmer 能不能在 3090 這個利基市場搶到一席之地,取決於它跟 Qwen2.5-32B-Instruct 的實際差距。3090 跑 32B 量化版也不是不行——這個對標測試 Muse 遲早得做。

至於「美國開源 vs 中國開源」的敘事爭奪,這只是個開頭。


[^1]: Latent Space, "AI News: Muse Glimmer and Spark open models", https://www.latent.space/p/ainews-muse-glimmer-and-spark-open

來源: https://www.latent.space/p/ainews-muse-glimmer-and-spark-open