微軟 AI 推出 MAI Code 2 與 MAI Code 2 Flash,兩款模型皆隸屬 MAI 模型家族,並同樣針對軟體開發與程式碼生成而設計。
這次發布最值得關注的,不是某項 benchmark 分數又提高多少,而是微軟首次將兩種規格放進同一張產品表:前者承接複雜生成與代理任務,後者則鎖定低延遲、低推理成本的高頻呼叫。
對程式碼 Agent 而言,這比單次回答是否漂亮更接近實際生產問題。一項修 bug 任務的常見流程,通常包括讀取儲存庫、定位檔案、修改程式碼、執行測試,再依據錯誤訊息進行第二次修改。模型不是只被呼叫一次,而是會進入一輪迴圈。
兩款模型,不只是高低配
MAI Code 2 與 MAI Code 2 Flash 在能力與效率上採取了不同的產品定位。
若將兩者視為同一模型的「完整版」與「迷你版」,很容易忽略背後的產品設計。Code 2 更適合複雜程式碼生成,以及需要理解長上下文的代理任務;Code 2 Flash 爭取的則是更短的回應時間,以及更低的單位推理成本。
這項區別十分關鍵。
在互動式程式設計工具中,使用者可能只會盯著自動完成結果一兩秒;但批次程式碼審查、自動修復測試,以及在 CI 中持續運作的 Agent,一天內可能觸發數千甚至數萬次模型呼叫。後者對成本的敏感度,遠高於前者。
程式碼模型也不只是「生成一段 Python」。它必須能承接上一輪的測試日誌、保留已修改檔案的狀態,再決定下一步行動。上下文越長、輪次越多,延遲與費用就越難被忽略。
因此,雙版本發布至少說明微軟已承認:程式碼模型並不存在適用於所有場景的唯一配置。能力是一層,呼叫成本與等待時間則是另一層。
微軟對本次發布的說明可見於官方文章:Introducing MAI Code 2 and MAI Code 2 Flash。
93 分背後的開發者成本帳
這則發布消息登上 Hacker News 首頁,獲得 93 分與 33 則留言。
93 分當然能反映開發者的關注度,卻不能直接換算成生產可用性。開發者更常採取以下判斷方式:
- 完成一項修改要花多少錢?
- 從發出指令到看到第一個結果,要等多久?
- 連續呼叫十輪後,狀態維護與錯誤復原是否穩定?
- 測試失敗後,它能否繼續修復,而不是重新解釋任務?
這也是為何 Code 2 Flash 可能比旗艦版本更值得研究。
假設一項代理任務需要呼叫模型 20 次,即使單次價格看起來只差一點點,經過多輪呼叫、失敗重試與平行工具呼叫放大後,也可能成為 API 帳單的主要成本。反過來說,若首 token 延遲減少 1 秒,且這項優勢出現在每次工具呼叫之前,整條工作流程的等待時間就會持續累積。
開發者討論模型時,常會並排比較 benchmark 分數。但對 AI Agent 而言,更有用的指標可能是「完成一項可合併改動」的總成本:
任務總成本 = 模型呼叫次數 × 單次輸入輸出成本
任務總延遲 = 等待模型時間 + 工具執行時間 + 重試時間這個公式刻意省略了人工檢查、測試執行與部署時間。若模型榜單上的領先伴隨更多輪返工,最終未必更省。
Flash 可能才是更關鍵的版本
程式碼 Agent 的多輪呼叫特性,正是 Flash 版本的核心價值。
以跨檔案重構為例,Agent 通常會先搜尋呼叫位置,再讀取數個相關模組、提出修改計畫,接著編輯程式碼並執行單元測試。如果測試失敗,還得讀取錯誤輸出,判斷是實作錯誤或測試環境問題,再修改一次。
這些步驟的資源需求並不平均。最困難、也最值得投入更多算力的,可能是規劃與修復階段;搜尋、摘要、簡單修補及錯誤分類,則未必需要使用同一級別的模型。
這帶出一種相當務實的架構:由 MAI Code 2 負責規劃與複雜修改,MAI Code 2 Flash 處理高頻、相對機械化的子任務。系統不必只能選用一个模型,也可以依任務階段進行路由。
真正的生產門檻在於路由是否可靠。便宜模型只要誤判一次,就可能導致多跑幾輪測試、浪費更多呼叫;最後省下的 token,也可能被返工消耗。評估 Flash 時,不應只測試「一次生成一個函式」,而應記錄完整代理軌跡中的:
- 完成率;
- 平均呼叫輪數;
- 失敗後的復原次數;
- 每項任務的 token 與費用;
- 使用者等待時間。
如果只能看到官方示範的第一輪效果,仍然很難判斷兩個版本在真實儲存庫中的差距。
從模型發布到工程部署
選擇程式碼模型時,我會考量四件事。
延遲必須納入完整工作流程
模型回應時間不等於產品回應時間。程式碼 Agent 還需要執行 shell 指令、搜尋索引、讀取檔案及執行測試。有些操作可以平行進行,有些則必須等待模型決定下一步。
如果 MAI Code 2 Flash 的低延遲優勢能穩定反映在工具呼叫迴圈中,就會直接影響開發體驗。使用者看到 Agent 每隔幾秒推進一步,或是長時間沒有回饋,兩種感受截然不同。
上下文並非越長越好
長上下文能容納更多儲存庫內容,但也會增加推理時間與成本。更關鍵的能力,是能否準確定位相關檔案,並在多輪任務中持續維護狀態。
程式碼儲存庫不是一篇從頭讀到尾的文件。符號參照、呼叫關係、版本差異與測試失敗,往往比整段檔案內容更重要。
程式碼執行閉环比單次自動完成更重要
單次生成正確,不代表代理任務能夠完成。模型需要理解工具回傳的結構化結果,將編譯錯誤、測試日誌與程式碼 diff 納入下一步決策。
評測應使用真實儲存庫,而不是只做 HumanEval 一類短題。一項任務能否穩定歷經「搜尋—修改—測試—修復—再測試」,比單輪程式碼正確率更接近實際上線後的結果。
API 成本必須與失敗率一起計算
低價格不能只看牌價。輸入 token、輸出 token、快取、平行呼叫、重試與模型路由,都會改變最終帳單。
我更傾向記錄每一項成功合併任務的成本:
每項成功任務成本 = 全部模型費用 + 測試與執行資源費用再與人工修復時間一併比較。這才算是在計算業務成本,而不是比較宣傳數字。
編輯觀察
專用程式碼模型正在進入工程成本競爭。過去開發者挑選模型,通常先看單次生成效果:benchmark 分數、程式碼能否通過,以及回答速度大致如何。如今只看這些指標已不夠,因為 AI Agent 將一次模型回答擴展成多輪工具鏈,失敗重試與上下文膨脹都會放大成本。
這次與過去不同的地方,在於微軟沒有只發布一款旗艦模型,而是同時提供能力型的 Code 2 與效率型的 Code 2 Flash,直接把單位任務成本與等待時間放到產品核心。至少從產品結構來看,Flash 可能比分數更高的版本更接近規模化部署的實際需求。
但我的判斷仍有侷限。公開資訊尚不足以證明兩者在真實儲存庫中的完成率差距,也未提供足夠的任務級成本數據。價格、授權範圍、介面限制與長任務穩定性,都會決定它們能否融入既有的開發工具鏈。模型已進入成本競爭,最終答案仍要從帳單與失敗日誌中找尋,而不是只看發表會。