九月初,Spotify engineering blog 刊出一篇標題相當聳動的文章:"Portal by Spotify: Cut my Claude Code token usage by 90%"。
注意用詞——是 "cut my token usage",不是 "we invented a new model"。這東西既不是新模型,也不是新產品,而是 Spotify 內部一直在用的 Claude Code 最佳化層,最近終於開源了。
文章很快登上 Hacker News 首頁,截稿時 31 分、7 則留言。留言區兩派人馬吵得不可開交:一派認為 90% 是行銷話術,另一派則在問「為什麼不直接換成 Haiku」。
兩邊都沒抓到重點。這件事最值得討論的,是 Spotify 走出一條和 Cursor、GitHub 都不太一樣的路——不換模型,壓縮輸入。
Portal 是什麼?Spotify 為什麼要做
一句話定位:Portal 是夾在 Claude Code 與編輯器之間的中介層。Claude Code 發出的每一個請求,都會先經過 Portal,由 Portal 把上下文裁一裁、prompt 壓一壓,再丟給 Claude。
它要解決的問題不是模型不夠聰明,而是 token 太貴。
Spotify 內部跑 Claude Code 的量級,連工程師自己都承認是「非常非常大」。當一個團隊的 AI 程式設計月帳單開始朝五位數美元邁進時,問題就不只是「模型好不好」,而是「怎麼用更少的 token 完成同樣的事」。
傳統思路是換更便宜的模型(Sonnet → Haiku),或是善用 prompt cache。Spotify 的選擇更激進——模型不動,從輸入端下手。
90% 這個數字怎麼來的
Spotify 官方把 token 下降拆成三塊貢獻:
- 上下文裁剪——大檔案只傳相關段落,不傳整個檔案
- Prompt 壓縮——系統 prompt 與重複指令去重
- 工具呼叫最佳化——用 diff 增量取代全量檔案重傳
注意,這是工程實測結果,不是模型升級。Claude 模型沒換、Claude Code 也沒換,換的是中間那一層。
這也是 90% 受到質疑的原因。HN 上有人問得很尖銳:「如果只是裁掉無關檔案,90% 是否代表你之前本來就傳了一堆根本不該傳的東西?」
這話聽起來有點刻薄,但並非毫無道理。如果一個團隊本來就在濫用上下文視窗,任何裁剪都能砍出漂亮的數字。
技術細節:Portal 具體做了什麼
Spotify 工程團隊公開了幾個關鍵設計:
- 上下文視窗管理:維護一個滑動視窗,只保留最近 N 輪對話 + 當前任務相關的檔案
- 檔案相關性過濾:根據當前編輯的檔案,推斷哪些其他檔案可能被引用,只把這些傳進去
- 增量 diff 取代全量重傳:檔案修改後只傳 diff,不傳整個新檔案
以下是 README 裡的最小使用範例:
# 安裝
npm install -g @spotify/portal
# 在 Claude Code 設定中指定 Portal 作為代理
portal config --set anthropic_base_url=http://localhost:8080
# 啟動 Portal
portal serve --port 8080
# Portal 內部的核心裁剪邏輯(簡化版)
class ContextPruner:
def __init__(self, max_tokens=50000):
self.max_tokens = max_tokens
def prune(self, files: list[File], current_focus: str) -> list[File]:
# 1. 計算每個檔案與當前焦點的相關性分數
scored = [(f, self._relevance(f, current_focus)) for f in files]
# 2. 依分數排序,貪心地塞進 token 預算
scored.sort(key=lambda x: x[1], reverse=True)
result = []
used = 0
for f, score in scored:
if used + f.tokens > self.max_tokens:
continue
result.append(f)
used += f.tokens
return result
坦白說,這裡只能寫到 Spotify 公開的內容為止。內部的具體啟發式、門檻值、快取策略,Spotify 並未揭露,外界也只能各自猜測。能確定的是:這不是什麼魔法,就是一層代理加上上下文工程。
HN 留言區在吵什麼
那 7 則留言中,有三則值得特別拿出來看:
"90% reduction is suspicious. What was your baseline? If you're sending entire repos as context, of course you can cut 90%."
"Why not just use Haiku? It's 1/10 the cost and good enough for most coding tasks."
"This is the real lesson: context engineering > model swapping. Most teams waste tokens before they need a better model."
第一條質疑基線(對照組是否公平)。第二條質疑路線(為何不換模型)。第三條點出了 Spotify 的核心論點。
這三個人代表社群的三種立場:懷疑派、實用派、認同派。HN 的 31 分說明認同派佔多數——但裡面有多少是 Spotify 工程師自己投的,不保證。
這件事和過去哪些「AI 程式設計降本」案例不一樣
過去兩年,大家談到 AI 程式設計降本,基本上是三條路:
| 路線 | 代表案例 | 思路 |
|---|---|---|
| 換便宜模型 | Sonnet → Haiku | 犧牲模型能力換成本 |
| Prompt 快取 | Cursor、Copilot | 重複內容不重複計費 |
| 模型蒸餾/微調 | 各家自研小模型 | 用小模型跑特定任務 |
Spotify 走的是第四條:模型不動、快取也不特別調校,直接從輸入端把 token 砍掉。
和 Sonnet → Haiku 的差異在哪?模型能力。Haiku 在複雜重構、長鏈推理上仍明顯弱於 Sonnet。Spotify 顯然不想犧牲這個能力,只想省錢。
和 Cursor prompt cache 的差異在哪?粒度。Cursor 的快取是「同一段對話裡重複的部分不重複算錢」,Portal 則是「這段對話裡根本不該出現的東西就別加進來」。前者是後端最佳化,後者是輸入端最佳化。
對高頻使用情境(每天跑幾十上百次 Claude Code),Portal 這條路的邊際效益更大。Cache 有上限,輸入裁剪則沒有天花板。
編輯觀察
90% 這個數字,對大多數團隊來說,可能只能複製出 30-50%。
原因很簡單:Spotify 是在自己的 monorepo、自家的程式碼風格、自家的 Claude Code 使用習慣下量測出來的。換個團隊、換個專案類型,基線完全不同。但這不是重點。
真正值得關注的,是這件事代表的態度轉變:大廠開始把「AI 程式設計成本」當工程問題處理了。
過去兩年,AI 程式設計工具的故事一直是「提效」——Copilot 讓你寫得更快、Cursor 讓你更精準、Devin 幫你自動幹活的 demo。成本則是沒人願意談的話題,大家都預設 token 是無限供應的。
Spotify 這篇文章罕見地把帳本攤開來給你看。這是第一次有大廠公開說「我們花了多少、怎麼省的、省了多少」。
編輯的判斷:接下來 6-12 個月,會有更多大廠開源類似工具。不是因為他們變善良了,而是 AI 程式設計的帳單已經大到 CFO 會開始過問的程度。Google、Microsoft、Meta 內部八成都有類似東西,只是沒對外公開。
不確定的地方:Portal 對個人開發者意義不大。設定成本、學習成本、對小專案來說根本不划算。如果你一個月 Claude Code 帳單不到 100 美元,安裝 Portal 大概率是負收益。它是為「每天重度使用」情境設計的工具。
另外還有個沒想清楚的問題:Portal 這種中介層,長期會不會被 Anthropic 自己整碗端走?如果 Claude Code 2.0 內建了上下文裁剪,Portal 還有存在價值嗎?Anthropic 的產品節奏,將決定 Portal 是「過渡方案」還是「長期生態位」。
這件事的特殊之處:它不是模型新聞、不是產品新聞,是工程新聞。在所有人都在卷模型、卷產品的當下,Spotify 選了最不性感的角度——最佳化中介層——但可能也是最容易複製的角度。
參考連結:
- Portal by Spotify: Cut my Claude Code token usage by 90% (engineering.atspotify.com)
- Hacker News 討論串(標題同名,搜尋即可找到)