大模型

Qwen4-Max 发布:Agent 选型别只看榜单

Qwen4-Max 登上 Hacker News 首页,483 points、197 条评论。但对 Agent 团队来说,真正要算的是每个成功任务花了多少钱、P95 延迟多久、失败后能不能恢复。本文给出一套可复现的 30 题 × 5 次运行的选型基线方法。

字号

Qwen 官方发布页将产品命名为 Qwen4-Max,地址是 qwen.ai/blog?id=qwen4-max。

这次发布登上 Hacker News 首页,拿到 483 points 和 197 条评论。讨论页:news.ycombinator.com/item?id=50513215。

热度不是重点。

对做 Agent 的团队,旗舰模型跑分高多少,通常不如下面三个问题实际:

  • 完成一个任务要调用几次模型、几次工具?
  • 工具参数错一次,是否会把整条工作流带偏?
  • P95 延迟和单任务成本,是否还能放进业务预算?

榜单适合证明模型"能做"。生产环境要证明的是:它能连续做对,并且团队付得起。

483 points 之后:旗舰模型热度怎么落到 Agent

开发者追逐旗舰模型,很大程度上源于 Agent 的责任边界变了。

以前是生成一段代码、一封邮件。现在可能是:

  1. 读取用户需求;
  2. 查询 CRM 和工单系统;
  3. 调用搜索、数据库或 MCP 服务;
  4. 根据返回结果调整下一步动作;
  5. 在失败时重试或换工具;
  6. 输出一个能直接执行的结论。

这条链里,模型的推理能力只是第一层。上下文组织、工具描述、状态传递、错误恢复同样决定结果。

旗舰模型常被放进链首:负责拆解任务、选择工具、处理异常。便宜的小模型负责分类、摘要、字段抽取等局部工作。这是典型的模型路由,不是"所有请求都换默认模型"。

所以,看到 Qwen4-Max 上 HN 首页后,我会先问两个问题:

  • 它能否减少计划阶段的返工?
  • 它能否让廉价模型少做几轮无效调用?

如果答案都是否定的,即使榜单领先,Agent 的总成本也未必下降。

Agent 选型的新变量:完成任务的成本

Agent 成本不能只看 token 单价。要算的是:

单任务成本 = 所有模型调用成本 + 工具调用成本 + 重试成本 + 人工接管成本

假设一个任务平均需要 4 次 LLM 调用、2 次外部工具调用,并因参数错误重试一次,那么只比较输入、输出 token 价格,会低估旗舰与低价模型之间的真实差距。

失败重试会同时放大延迟和费用。模型第一次选错工具,后面即使纠正,系统也多走一轮。工具返回 20 KB 数据后,模型每次重新读取上下文,token 消耗也跟着涨。

长上下文同样不是免费的。把 100 KB 文档完整塞进每一次调用,模型可以"看得更多",但延迟与费用通常也会上升。生产系统更常见的做法是:先检索,再压缩,只把当前步骤需要的证据放进上下文。

低价小模型适合承担稳定、低风险环节:

  • 意图分类;
  • JSON 字段抽取;
  • 工具返回内容摘要;
  • 固定模板生成;
  • 大量日志的初步筛选。

旗舰模型更适合保留给高价值节点:

  • 复杂任务拆解;
  • 工具冲突时的决策;
  • 异常解释与恢复;
  • 多个候选方案的选择。

真正的性价比不是"旗舰模型每百万 token 便宜多少",而是"它能否减少后续步骤和人工介入"。

基准成绩不等于生产可靠性

Qwen4-Max 的官方页面是理解其能力边界的第一来源。不过现有素材没有提供 API 价格、上下文长度、工具调用测试结果或具体开源权重范围。这些数字应以官方发布页正文为准,不能从二手摘要里补齐。

即使官方公布 SWE-bench、LiveCodeBench 或其他 benchmark,也要先看评测协议:

  • 是否提供完整工具环境?
  • 是否允许多轮重试?
  • 是否使用真实网络和外部服务?
  • 是否过滤了超时与格式错误?
  • 成功一次,还是同一任务重复多次后算成功?

生产可靠性更接近一组可观测指标:

指标 测量方式
工具选择正确率 首次选择的工具与预期工具一致的比例
参数正确率 工具名正确且全部参数通过 schema 校验的比例
任务完成率 无人工修正且满足验收条件的比例
异常恢复率 工具报错后最终完成任务的比例
P95 延迟 从请求进入到结果可用的第 95 百分位耗时
单任务成本 完成一个成功任务分摊的全部模型与工具费用

一个常见误区是把 JSON 能解析等同于工具调用成功。

参数类型可能合法,业务语义却错误。user_id 填了客户姓名,格式校验照样通过。真实测试必须加入业务约束:查库后确认用户存在、时间范围有效、资源归属正确。

我更关心失败样本。模型在什么输入下选错工具?错误发生后能否解释原因?有没有重复调用、无限重试或错误地切换任务?这些问题比单次 demo 更有价值。

开放权重生态:Qwen 的差异化不只模型

Qwen 系列长期强调开放模型生态。开发者可以围绕不同尺寸的模型建立本地或私有化部署,再通过微调、量化和推理框架适配业务数据。

但这里要把两个概念分开:

  1. Qwen4-Max 的 API 能力:通过官方服务调用的模型能力;
  2. 开放权重的具体范围:哪些版本开放、开放什么许可证、是否包含某一代架构或参数规模。

两者不能直接画等号。

从现有素材看,尚不能确认 Qwen4-Max 的具体开源权重范围。即使 Qwen 系列有开放生态,也不代表旗舰 Max 版本必然以相同形式开放。部署方案、许可条件、量化效果和工具调用模板,都需要逐项核验。

对团队来说,开放权重的价值主要有三层:

  • 数据控制:敏感日志和内部文档不必离开私有环境;
  • 成本控制:稳定、高频任务可以迁移到自部署模型;
  • 可定制:针对内部工具说明、输出格式和业务分类做微调。

实际部署还要算运维成本。GPU 采购、推理框架调优、升级维护和容量规划,都可能让"免费权重"变成另一笔预算。

一套可复现的模型选型方法

不要从公开榜单选模型。先拿 30 道内部任务做基线。

任务来自真实工作流,覆盖简单、常规、困难三档。每道任务准备:

  • 初始输入;
  • 可用工具及准确 schema;
  • 固定的模拟或测试数据;
  • 明确的成功条件;
  • 允许重试次数;
  • 预期工具调用路径。

每道任务重复 5 次,共 150 次运行。同一模型、同一温度、同一系统提示、同一工具返回值。不要在某次失败后人工修改答案。

可以先用下面的脚本生成测试清单。JSONL 是常见格式,兼容 Python 标准库:

import json
import random
from pathlib import Path

TASKS = [
    {
        "id": "customer_lookup",
        "input": "查找客户 ACME-001 的工单",
        "expected_tool": "search_tickets",
        "expected_args": {"customer_id": "ACME-001"},
        "difficulty": "easy",
    },
    {
        "id": "refund_review",
        "input": "判断订单是否满足退款条件",
        "expected_tool": "get_order_policy",
        "expected_args": {"order_id": "ORD-2048"},
        "difficulty": "medium",
    },
    {
        "id": "incident_route",
        "input": "生产支付接口超时,选择处理路径",
        "expected_tool": "get_incident_runbook",
        "expected_args": {"service": "payments"},
        "difficulty": "hard",
    },
]

rows = []
for task in TASKS:
    for run in range(1, 6):
        rows.append({
            "task_id": task["id"],
            "run": run,
            "input": task["input"],
            "expected_tool": task["expected_tool"],
            "expected_args": task["expected_args"],
            "difficulty": task["difficulty"],
        })

random.Random(42).shuffle(rows)

with Path("agent_eval_cases.jsonl").open("w", encoding="utf-8") as f:
    for row in rows:
        f.write(json.dumps(row, ensure_ascii=False) + "\n")

运行后记录五组核心数据:

model_id
task_id
run
tool_calls
tool_choice_correct
arguments_valid
arguments_semantically_correct
task_completed
retries
input_tokens
output_tokens
latency_ms
total_cost_usd
failure_reason

最终报告至少包含:

  • 工具调用成功率;
  • 参数正确率;
  • 首次任务完成率;
  • 异常恢复率;
  • P95 延迟;
  • 单个成功任务成本;
  • 人工接管率。

失败样例不要只存一句 failed。至少标记:选错工具、参数错误、漏调用、重复调用、超时、幻觉数据、无法恢复。聚类之后,再决定换模型、改提示,还是收紧工具 schema。

推荐做一个简单决策规则:

  • 小模型达到验收线、且成本明显更低:留在高并发路径;
  • 旗舰模型提高成功率,但成本涨幅超过业务毛利:放在低频或升级路径;
  • 两者都不稳定:先修工具接口和任务边界;
  • 错误无法自动恢复:保留人工确认,不让模型无限重试。

这比问"哪个模型最强"更接近上线决策。

编辑思考

Qwen4-Max 真正可能改变的不是某个团队的默认模型,而是 Agent 的模型路由与预算分配。旗舰模型更擅长处理复杂节点,确实可能减少重试;但如果简单任务也全部升级,单任务成本会先膨胀。能按步骤动态选模型、把异常交给更贵的模型处理,才是这次发布更值得关注的地方。

它和过去追逐榜单也不同。公开 benchmark 常把复杂能力压成一次成功与否,真实 Agent 却要经过多轮工具调用、参数校验和异常恢复。483 points 说明开发者关心它,197 条评论说明分歧足够多;这些都不能替代自己的 30 道任务、5 次重复运行。

仍有几处空白:正式 API 定价、地区可用性、上下文长度、工具调用细节,以及开放权重的准确范围,都应以 Qwen 官方发布页和实际服务条款为准。在这些信息确认前,最稳妥的动作不是立即迁移,而是先建立可复现基线,再看它是否真的降低了"每个成功任务"的成本。

来源

  • https://qwen.ai/blog?id=qwen4-max
  • https://news.ycombinator.com/item?id=50513215
来源: https://qwen.ai/blog?id=qwen4-max