閉源模型正逐漸站上價格與效能的前沿。對 AI Agent 團隊而言,模型排行榜的名次遠不如「每次成功任務要花多少錢」重要。
閉源模型拿下高性價比:AI Agent 採購該換一套算法
閉源模型正逐漸站上價格與效能的前沿。
這不是新模型發表,也不是官方 benchmark,更不是經過同儕審查的研究。它比較像一張採購地圖:將推理價格與模型能力放在同一張表中,再觀察誰能在真實任務中穩定交付。
對 AI Agent 團隊來說,單價下降只是表面現象。真正決定毛利的,是每個成功任務的成本。
價格與效能的前沿發生了什麼變化
Village.dev 的文章提出一項判斷:閉源 AI 模型已經占據價格與效能的前沿。
比較的維度不是某次 benchmark 的名次,也不是模型回答看起來有多聰明。真正的問題是,把推理價格與模型能力放在一起評估後,誰的成本效益更高。
原文也討論了企業層面的變化:閉源模型為何可能取代開源模型,成為企業 AI 採購中的性價比首選,並將問題延伸至 Agent 的部署成本。
這與常見的模型排行榜不太一樣。
一般排行榜回答的是:「在固定測試集上,誰的分數較高?」
採購問題則是:「在特定預算與延遲要求下,誰能完成更多任務?」
兩個問題彼此相關,卻不是同一回事。某個模型可能單次評測表現出色,卻因輸出不穩定、容易重試或需要更長的上下文,最終任務成本反而更高。
因此,價格與效能的前沿真正值得關注的,不是閉源模型在圖表上移動了多少,而是企業開始採用更接近單位經濟性的口徑來選模型。
原始分析見 Village.dev:Closed AI Models Now Dominate the Price-Performance Frontier。
別把模型單價當成任務成本
在 Agent 產品中,最容易算錯的成本項目就是 token 單價。
供應商頁面通常以每百萬輸入 token、每百萬輸出 token 計價。這個數字適合用來編預算,也適合初步篩選模型。但 Agent 最終交付的不是 token,而是一項完成的任務。
單位任務成本可以粗略表示為:
單任務成本 =
(輸入 token 成本 + 輸出 token 成本 + 工具呼叫成本) × 總嘗試次數
+ 人工接管成本
+ 失敗與延遲造成的損失
至少有四個變數會改變結果。
第一,重試。假設單次成功率為 80%,平均需要 1.5 次嘗試;成功率降至 60%,平均嘗試次數就會接近 2 次。輸入較長、輸出較雜亂的模型,可能在單價便宜的情況下反覆消耗預算。
第二,工具呼叫。若 Agent 需要查詢資料庫、執行程式碼、操作瀏覽器或產生檔案,模型本身的價格只是總成本的一部分。模型是否知道何時停止、如何使用工具,以及失敗後能否自我修正,都會影響完成一項任務需要多少步。
第三,上下文長度。長上下文不一定比較划算。上下文越長,每輪呼叫的輸入成本越高;塞入大量無關內容,還可能降低關鍵資訊的命中率。
第四,完成率。這裡指的是端到端完成率,而非 benchmark 分數。使用者要求「整理本週銷售資料並產生報告」,模型即使答對一次,卻漏掉附件、格式或異常處理,在業務上仍可能算失敗。
所以,閉源模型「單次呼叫便宜」,不代表「完成一項任務便宜」。反過來也一樣。開源模型若部署穩定、cache 命中率高,也可能擁有更低的單位任務成本。
開源模型仍值得部署嗎
這個問題不應以開源或閉源一刀切的方式回答。
對高頻線上 Agent 而言,閉源模型的價格優勢通常更直接。開發團隊不必負擔 GPU 採購、推理服務擴縮容與維運工作。只要 API 的單位任務成本夠低,且供應商的穩定性與資料條款可以接受,閉源 API 往往更容易上線。
但在以下情境中,開源模型仍值得部署或保留:
- 資料不得離開指定環境。醫療、金融、政府或企業內部程式碼,需要明確的資料落地、刪除與存取邊界。本地部署的價值不只是價格,也包括控制權。
- 任務量大且流量穩定。當呼叫量足以攤薄 GPU 成本,自託管的固定成本便變得可控。
- 延遲要求嚴格。固定工作負載、短上下文與高頻請求,可透過本地推理避開公網波動。
- 能有效使用 cache。重複問題、固定檢索結果與確定性前綴,都能降低自託管模型的邊際成本。
- 需要自訂權重。若業務依賴特定語言、特定行為或受控生成,開源權重能提供更大的調整空間。
當然,本地部署也有隱藏成本:GPU、量化造成的品質損失、監控、升級、容量規劃與故障復原。
我更傾向將其視為組合問題,而非選邊站的問題:
- 通用、複雜且低頻的任務可使用閉源 API;
- 高頻、穩定且可 cache 的任務可採自託管;
- 敏感資料先依合規要求進行路由;
- 高風險動作保留人工確認。
這種架構不會把全部資源押在單一模型上,也能降低供應商漲價、限流或 API 變更帶來的影響。
HN 爭議凸顯了哪些問題
這篇 Village.dev 文章在 Hacker News 獲得 47 points 與 34 則留言。討論集中在兩個問題:閉源模型的性價比優勢是否真實存在,以及背後的評測方法是否可靠。
HN 頁面:item?id=50387546。
這些爭議點並不意外。
首先,這是一篇依據模型定價與效能資料撰寫的分析文章,不是新模型發表、官方 benchmark 或同儕審查研究。樣本如何選取、任務如何加權,以及 API 價格是否採一致口徑計算,都有待進一步查核。
其次,公開評測通常來自分布較明確的任務。企業 Agent 卻混合了網頁操作、資料清洗、程式碼修改、客服判斷與文件生成。某個模型在特定類型任務上占優勢,不代表它在企業真實流量中也同樣占優。
再者,「價格與效能」曲線會隨時間改變。今天的輸入價格、輸出價格與上下文視窗,下週就可能不同。直接以靜態表格推導長期採購結論,風險不小。
HN 討論最有價值的地方,不是替開源或閉源判定勝負,而是迫使評估者回答幾個基本問題:測試了哪些模型?如何測試?失敗如何計費?線上流量與測試集是否同分布?
這些問題比陣營口號重要得多。
為 Agent 團隊整理一張採購表
不要直接依公開排行榜選模型。先用自己的任務集進行一輪端到端評估。
建議至少記錄以下指標:
| 維度 | 需要記錄的內容 | 重要性 |
|---|---|---|
| 成功任務成本 | 每次成功完成的全鏈路成本 | 直接影響單位經濟性 |
| P95 延遲 | 從觸發到任務完成的長尾延遲 | 影響使用體驗與並行容量 |
| 重試率 | 平均嘗試次數、復原成功率 | 衡量可靠性與隱藏模型成本 |
| 工具呼叫次數 | 完成任務的呼叫數與失敗呼叫數 | 判斷 Agent 是否在空轉 |
| 端到端完成率 | 通過業務驗收的比例 | 避免只看模型分數 |
| 可遷移性 | 更換模型後需要修改的程式碼與提示詞數量 | 降低供應商鎖定風險 |
| 資料與合規 | 留存、訓練使用、區域與刪除政策 | 決定模型能否進入正式環境 |
評估時,我會將同一批任務隨機分配給候選模型,統一設定最大步數、工具權限與逾時限制。不能悄悄排除失敗案例,更不能只統計成功樣本的平均 token。
若要進行更細緻的歸因,可以先使用以下最小化腳本統計呼叫與重試:
from dataclasses import dataclass
@dataclass
class RunStats:
attempts: int = 0
input_tokens: int = 0
output_tokens: int = 0
tool_calls: int = 0
tool_failures: int = 0
completed: bool = False
def attempt(self) -> None:
self.attempts += 1
def usage(self, input_tokens: int, output_tokens: int) -> None:
self.input_tokens += input_tokens
self.output_tokens += output_tokens
def tool_result(self, failed: bool = False) -> None:
self.tool_calls += 1
if failed:
self.tool_failures += 1
def finish(self, completed: bool) -> None:
self.completed = completed
這段程式碼不負責呼叫模型,只負責避免評估口徑遺漏。最後再依下列方式計算:
successful_costs = [
cost
for cost, stats in results
if stats.completed
]
avg_cost_per_success = (
sum(successful_costs) / len(successful_costs)
if successful_costs else float("inf")
)
更穩妥的做法,還應將失敗任務納入總成本的分母。否則,只會完成簡單任務的模型會顯得異常便宜。
編輯觀察
閉源模型占據價格與效能的前沿,更像是 Agent 採購結構的改變,而非開源能力突然倒退。Agent 會將模型差異直接換算成毛利:單次呼叫便宜幾厘,不如一項任務少重試兩次重要。
這次不同的地方,在於評估單位從「模型能力」轉向「成功交付」。模型參數、公開排行榜與 token 標價仍然存在,但採購團隊會更常追問:每個成功任務要花多少錢?失敗與重試由誰承擔?
我的判斷是,未來的主流架構不會長期只押一家供應商。閉源模型可能取得大部分通用流量,開源模型則繼續守住敏感資料、高頻 cache 與可自訂情境。至於 Village.dev 的方法是否足以證明閉源模型全面領先,目前還不能下定論。這篇文章缺少官方 benchmark 與同儕審查,公開任務與企業任務的分布也可能存在偏差。可真正採信的結論,仍須由團隊使用自有資料重複驗證。