大型語言模型

Qwen4-Max 發布:Agent 模型選型不能只看跑分

Qwen4-Max 登上 Hacker News 首頁並引發大量討論,但 Agent 團隊更該重視每個成功任務的成本、P95 延遲與失敗復原能力。本文提出一套可重現的模型評測基線:30 道內部任務各執行 5 次。

字級

Qwen 官方發布頁將產品命名為 Qwen4-Max,網址為 qwen.ai/blog?id=qwen4-max。

這次發布登上 Hacker News 首頁,獲得 483 points 與 197 則留言。討論頁:news.ycombinator.com/item?id=50513215。

熱度不是重點。

對開發 Agent 的團隊而言,旗艦模型跑分高出多少,通常不如以下三個問題貼近實際需求:

  • 完成一項任務需要呼叫幾次模型、幾次工具?
  • 工具參數錯一次,是否會讓整條工作流程偏移?
  • P95 延遲與單一任務成本,是否仍符合業務預算?

排行榜適合證明模型「做得到」,而生產環境要證明的則是:它能持續做對,而且團隊負擔得起。

483 points 之後:旗艦模型熱度如何真正影響 Agent

開發者追逐旗艦模型,很大程度上是因為 Agent 的責任邊界已經改變。

過去,模型只需產生一段程式碼或一封郵件;現在可能需要:

  1. 讀取使用者需求;
  2. 查詢 CRM 與工單系統;
  3. 呼叫搜尋、資料庫或 MCP 服務;
  4. 依據回傳結果調整下一步行動;
  5. 失敗時重試或改用其他工具;
  6. 輸出能直接執行的結論。

在這條流程中,模型的推理能力只是第一層;上下文組織、工具描述、狀態傳遞與錯誤復原,同樣會決定最終結果。

旗艦模型經常被放在流程開頭,負責拆解任務、選擇工具及處理異常;價格較低的小模型則負責分類、摘要、欄位擷取等局部工作。這是典型的模型路由,而不是「所有請求都改用預設模型」。

因此,看到 Qwen4-Max 登上 HN 首頁後,我會先問兩個問題:

  • 它能否減少規劃階段的返工?
  • 它能否讓低價模型少做幾輪無效呼叫?

若兩個答案都是否定的,即使排行榜領先,Agent 的總成本也未必下降。

Agent 選型的新變數:完成任務的實際成本

Agent 成本不能只看 token 單價,而應計算:

單一任務成本 = 所有模型呼叫成本 + 工具呼叫成本 + 重試成本 + 人工接管成本

假設一項任務平均需要 4 次 LLM 呼叫、2 次外部工具呼叫,並因參數錯誤重試一次,那麼只比較輸入與輸出 token 價格,就會低估旗艦模型與低價模型之間的實際差距。

失敗重試會同時放大延遲與費用。模型第一次選錯工具,即使後續自行修正,整套系統仍多走了一輪。若工具每次回傳 20 KB 資料,模型重新讀取上下文時,token 消耗也會跟著增加。

長上下文同樣不是免費的。把 100 KB 文件完整放入每次呼叫,模型固然能「看得更多」,但延遲與費用通常也會上升。生產系統更常見的做法是先檢索、再壓縮,只將當前步驟所需的證據放入上下文。

低價小模型適合處理穩定且風險較低的環節:

  • 意圖分類;
  • JSON 欄位擷取;
  • 工具回傳內容摘要;
  • 固定範本產生;
  • 大量日誌的初步篩選。

旗艦模型則更适合保留給高價值節點:

  • 複雜任務拆解;
  • 工具衝突時的決策;
  • 異常解釋與復原;
  • 多個候選方案的選擇。

真正的性價比,不是「旗艦模型每百萬 token 便宜多少」,而是「它能否減少後續步驟與人工介入」。

基準測試成績不等於生產環境的可靠性

Qwen4-Max 官方頁面是理解其能力邊界的第一手來源。不過現有資料並未提供 API 價格、上下文長度、工具呼叫測試結果或具體的開放權重範圍。這些資訊應以官方發布頁正文為準,不能從二手摘要中自行補齊。

即使官方公布 SWE-bench、LiveCodeBench 或其他 benchmark 成績,也要先確認評測協定:

  • 是否提供完整的工具環境?
  • 是否允許多輪重試?
  • 是否使用真實網路與外部服務?
  • 是否排除逾時與格式錯誤?
  • 是一次成功就算成功,還是同一任務重複多次後才視為成功?

生產環境的可靠性,更接近以下一組可觀測指標:

指標測量方式
工具選擇正確率首次選擇的工具與預期工具一致的比例
參數正確率工具名稱正確,且所有參數都通過 schema 驗證的比例
任務完成率未經人工修正,且符合驗收條件的比例
異常復原率工具發生錯誤後,最終仍完成任務的比例
P95 延遲從請求送入到結果可使用的第 95 百分位耗時
單一任務成本完成一個成功任務所分攤的全部模型與工具費用

常見误区是把 JSON 能成功解析等同於工具呼叫成功。

參數類型可能合法,業務語意卻是錯的。例如 user_id 被填入客戶姓名,格式驗證仍會通過。真實測試必須加入業務限制:查詢資料庫後,確認使用者存在、時間範圍有效,且資源歸屬無誤。

我更關注失敗樣本:模型會在什麼輸入下選錯工具?發生錯誤後能否解釋原因?是否出現重複呼叫、無限重試,或錯誤地切換任務?這些問題比單次 demo 更有價值。

開放權重生態:Qwen 的差異化不只在模型本身

Qwen 系列長期強調開放模型生態。開發者可以依不同模型規模建立本地或私有化部署,再透過微調、量化與推論框架,貼合業務資料。

但這裡必須區分兩個概念:

  1. Qwen4-Max 的 API 能力:透過官方服務呼叫時具備的模型能力;
  2. 開放權重的實際範圍:哪些版本開放、採取什麼授權條款,以及是否涵蓋特定世代架構或參數規模。

兩者不能直接畫上等號。

從現有資料看,尚無法確認 Qwen4-Max 的具體開放權重範圍。即使 Qwen 系列擁有開放生態,也不代表旗艦 Max 版本必然以相同形式開放。部署方案、授權條件、量化效果與工具呼叫範本,都需要逐項核對。

對團隊而言,開放權重的價值主要分為三層:

  • 資料控制:敏感日誌與內部文件不必離開私有環境;
  • 成本控制:穩定、高頻的任務可以移至自部署模型;
  • 可客製化:針對內部工具說明、輸出格式與業務分類進行微調。

實際部署還須計算維運成本。GPU 採購、推論框架調校、升級維護與容量規劃,都可能讓「免費權重」變成另一筆預算。

一套可重現的模型選型方法

不要從公開排行榜選模型。先以 30 道內部任務建立基線。

任務應來自真實工作流程,涵蓋簡單、常规與困難三個難度。每道任務需準備:

  • 初始輸入;
  • 可用工具及正確 schema;
  • 固定的模擬或測試資料;
  • 明確的成功條件;
  • 允許的重試次數;
  • 預期的工具呼叫路徑。

每道任務重複執行 5 次,合計 150 次執行。所有測試都應使用相同模型、相同溫度、相同系統提示與相同工具回傳值;某次失敗後,不得人工修改答案。

可以先用下列腳本產生測試清單。JSONL 是常見格式,也相容於 Python 標準函式庫:

import json
import random
from pathlib import Path

TASKS = [
    {
        "id": "customer_lookup",
        "input": "查找客户 ACME-001 的工单",
        "expected_tool": "search_tickets",
        "expected_args": {"customer_id": "ACME-001"},
        "difficulty": "easy",
    },
    {
        "id": "refund_review",
        "input": "判断订单是否满足退款条件",
        "expected_tool": "get_order_policy",
        "expected_args": {"order_id": "ORD-2048"},
        "difficulty": "medium",
    },
    {
        "id": "incident_route",
        "input": "生产支付接口超时,选择处理路径",
        "expected_tool": "get_incident_runbook",
        "expected_args": {"service": "payments"},
        "difficulty": "hard",
    },
]

rows = []
for task in TASKS:
    for run in range(1, 6):
        rows.append({
            "task_id": task["id"],
            "run": run,
            "input": task["input"],
            "expected_tool": task["expected_tool"],
            "expected_args": task["expected_args"],
            "difficulty": task["difficulty"],
        })

random.Random(42).shuffle(rows)

with Path("agent_eval_cases.jsonl").open("w", encoding="utf-8") as f:
    for row in rows:
        f.write(json.dumps(row, ensure_ascii=False) + "\n")

執行後應記錄五組核心資料:

model_id
task_id
run
tool_calls
tool_choice_correct
arguments_valid
arguments_semantically_correct
task_completed
retries
input_tokens
output_tokens
latency_ms
total_cost_usd
failure_reason

最終報告至少應包含:

  • 工具呼叫成功率;
  • 參數正確率;
  • 首次任務完成率;
  • 異常復原率;
  • P95 延遲;
  • 每個成功任務成本;
  • 人工接管率。

失敗樣本不要只記錄一句 failed。至少應標註:選錯工具、參數錯誤、漏呼叫、重複呼叫、逾時、幻覺資料、無法復原。完成樣本分群後,再決定要換模型、調整提示,還是收緊工具 schema。

建議採用一套簡單決策規則:

  • 小模型達到驗收標準,且成本明顯更低:保留在高併發路徑;
  • 旗艦模型提高成功率,但成本增幅超過業務毛利:放在低頻或升級路徑;
  • 兩者都不穩定:先修正工具介面與任務邊界;
  • 錯誤無法自動復原:保留人工確認,不讓模型無限重試。

這比追問「哪個模型最強」更接近上線決策。

編輯觀察

Qwen4-Max 真正可能改變的,不是哪個團隊的預設模型,而是 Agent 的模型路由與預算分配。旗艦模型更擅長處理複雜節點,確實可能減少重試;但若連簡單任務也全面升級,單一任務成本會先迅速膨脹。能依步驟動態選擇模型,再把異常交給價格較高的模型處理,才是這次發布更值得关注之處。

這也和過去追逐排行榜的做法不同。公開 benchmark 經常將複雜能力壓縮成單次成功或失敗;真實 Agent 則要經歷多輪工具呼叫、參數驗證與異常復原。483 points 顯示開發者關注這項發布,197 則留言則顯示分歧充足;兩者都無法取代團隊自己的 30 道任務與 5 次重複執行。

目前仍有數項資訊待確認:正式 API 價格、地區可用性、上下文長度、工具呼叫細節,以及開放權重的確切範圍,都應以 Qwen 官方發布頁與實際服務條款為準。在這些資訊確認前,最穩妥的做法不是立即遷移,而是先建立可重現的基線,再觀察它是否真的降低了「每個成功任務」的成本。

來源

來源: https://qwen.ai/blog?id=qwen4-max