Qwen 官方发布页将产品命名为 Qwen4-Max,地址是 qwen.ai/blog?id=qwen4-max。
这次发布登上 Hacker News 首页,拿到 483 points 和 197 条评论。讨论页:news.ycombinator.com/item?id=50513215。
热度不是重点。
对做 Agent 的团队,旗舰模型跑分高多少,通常不如下面三个问题实际:
- 完成一个任务要调用几次模型、几次工具?
- 工具参数错一次,是否会把整条工作流带偏?
- P95 延迟和单任务成本,是否还能放进业务预算?
榜单适合证明模型"能做"。生产环境要证明的是:它能连续做对,并且团队付得起。
483 points 之后:旗舰模型热度怎么落到 Agent
开发者追逐旗舰模型,很大程度上源于 Agent 的责任边界变了。
以前是生成一段代码、一封邮件。现在可能是:
- 读取用户需求;
- 查询 CRM 和工单系统;
- 调用搜索、数据库或 MCP 服务;
- 根据返回结果调整下一步动作;
- 在失败时重试或换工具;
- 输出一个能直接执行的结论。
这条链里,模型的推理能力只是第一层。上下文组织、工具描述、状态传递、错误恢复同样决定结果。
旗舰模型常被放进链首:负责拆解任务、选择工具、处理异常。便宜的小模型负责分类、摘要、字段抽取等局部工作。这是典型的模型路由,不是"所有请求都换默认模型"。
所以,看到 Qwen4-Max 上 HN 首页后,我会先问两个问题:
- 它能否减少计划阶段的返工?
- 它能否让廉价模型少做几轮无效调用?
如果答案都是否定的,即使榜单领先,Agent 的总成本也未必下降。
Agent 选型的新变量:完成任务的成本
Agent 成本不能只看 token 单价。要算的是:
单任务成本 = 所有模型调用成本 + 工具调用成本 + 重试成本 + 人工接管成本
假设一个任务平均需要 4 次 LLM 调用、2 次外部工具调用,并因参数错误重试一次,那么只比较输入、输出 token 价格,会低估旗舰与低价模型之间的真实差距。
失败重试会同时放大延迟和费用。模型第一次选错工具,后面即使纠正,系统也多走一轮。工具返回 20 KB 数据后,模型每次重新读取上下文,token 消耗也跟着涨。
长上下文同样不是免费的。把 100 KB 文档完整塞进每一次调用,模型可以"看得更多",但延迟与费用通常也会上升。生产系统更常见的做法是:先检索,再压缩,只把当前步骤需要的证据放进上下文。
低价小模型适合承担稳定、低风险环节:
- 意图分类;
- JSON 字段抽取;
- 工具返回内容摘要;
- 固定模板生成;
- 大量日志的初步筛选。
旗舰模型更适合保留给高价值节点:
- 复杂任务拆解;
- 工具冲突时的决策;
- 异常解释与恢复;
- 多个候选方案的选择。
真正的性价比不是"旗舰模型每百万 token 便宜多少",而是"它能否减少后续步骤和人工介入"。
基准成绩不等于生产可靠性
Qwen4-Max 的官方页面是理解其能力边界的第一来源。不过现有素材没有提供 API 价格、上下文长度、工具调用测试结果或具体开源权重范围。这些数字应以官方发布页正文为准,不能从二手摘要里补齐。
即使官方公布 SWE-bench、LiveCodeBench 或其他 benchmark,也要先看评测协议:
- 是否提供完整工具环境?
- 是否允许多轮重试?
- 是否使用真实网络和外部服务?
- 是否过滤了超时与格式错误?
- 成功一次,还是同一任务重复多次后算成功?
生产可靠性更接近一组可观测指标:
| 指标 | 测量方式 |
|---|---|
| 工具选择正确率 | 首次选择的工具与预期工具一致的比例 |
| 参数正确率 | 工具名正确且全部参数通过 schema 校验的比例 |
| 任务完成率 | 无人工修正且满足验收条件的比例 |
| 异常恢复率 | 工具报错后最终完成任务的比例 |
| P95 延迟 | 从请求进入到结果可用的第 95 百分位耗时 |
| 单任务成本 | 完成一个成功任务分摊的全部模型与工具费用 |
一个常见误区是把 JSON 能解析等同于工具调用成功。
参数类型可能合法,业务语义却错误。user_id 填了客户姓名,格式校验照样通过。真实测试必须加入业务约束:查库后确认用户存在、时间范围有效、资源归属正确。
我更关心失败样本。模型在什么输入下选错工具?错误发生后能否解释原因?有没有重复调用、无限重试或错误地切换任务?这些问题比单次 demo 更有价值。
开放权重生态:Qwen 的差异化不只模型
Qwen 系列长期强调开放模型生态。开发者可以围绕不同尺寸的模型建立本地或私有化部署,再通过微调、量化和推理框架适配业务数据。
但这里要把两个概念分开:
- Qwen4-Max 的 API 能力:通过官方服务调用的模型能力;
- 开放权重的具体范围:哪些版本开放、开放什么许可证、是否包含某一代架构或参数规模。
两者不能直接画等号。
从现有素材看,尚不能确认 Qwen4-Max 的具体开源权重范围。即使 Qwen 系列有开放生态,也不代表旗舰 Max 版本必然以相同形式开放。部署方案、许可条件、量化效果和工具调用模板,都需要逐项核验。
对团队来说,开放权重的价值主要有三层:
- 数据控制:敏感日志和内部文档不必离开私有环境;
- 成本控制:稳定、高频任务可以迁移到自部署模型;
- 可定制:针对内部工具说明、输出格式和业务分类做微调。
实际部署还要算运维成本。GPU 采购、推理框架调优、升级维护和容量规划,都可能让"免费权重"变成另一笔预算。
一套可复现的模型选型方法
不要从公开榜单选模型。先拿 30 道内部任务做基线。
任务来自真实工作流,覆盖简单、常规、困难三档。每道任务准备:
- 初始输入;
- 可用工具及准确 schema;
- 固定的模拟或测试数据;
- 明确的成功条件;
- 允许重试次数;
- 预期工具调用路径。
每道任务重复 5 次,共 150 次运行。同一模型、同一温度、同一系统提示、同一工具返回值。不要在某次失败后人工修改答案。
可以先用下面的脚本生成测试清单。JSONL 是常见格式,兼容 Python 标准库:
import json
import random
from pathlib import Path
TASKS = [
{
"id": "customer_lookup",
"input": "查找客户 ACME-001 的工单",
"expected_tool": "search_tickets",
"expected_args": {"customer_id": "ACME-001"},
"difficulty": "easy",
},
{
"id": "refund_review",
"input": "判断订单是否满足退款条件",
"expected_tool": "get_order_policy",
"expected_args": {"order_id": "ORD-2048"},
"difficulty": "medium",
},
{
"id": "incident_route",
"input": "生产支付接口超时,选择处理路径",
"expected_tool": "get_incident_runbook",
"expected_args": {"service": "payments"},
"difficulty": "hard",
},
]
rows = []
for task in TASKS:
for run in range(1, 6):
rows.append({
"task_id": task["id"],
"run": run,
"input": task["input"],
"expected_tool": task["expected_tool"],
"expected_args": task["expected_args"],
"difficulty": task["difficulty"],
})
random.Random(42).shuffle(rows)
with Path("agent_eval_cases.jsonl").open("w", encoding="utf-8") as f:
for row in rows:
f.write(json.dumps(row, ensure_ascii=False) + "\n")
运行后记录五组核心数据:
model_id
task_id
run
tool_calls
tool_choice_correct
arguments_valid
arguments_semantically_correct
task_completed
retries
input_tokens
output_tokens
latency_ms
total_cost_usd
failure_reason
最终报告至少包含:
- 工具调用成功率;
- 参数正确率;
- 首次任务完成率;
- 异常恢复率;
- P95 延迟;
- 单个成功任务成本;
- 人工接管率。
失败样例不要只存一句 failed。至少标记:选错工具、参数错误、漏调用、重复调用、超时、幻觉数据、无法恢复。聚类之后,再决定换模型、改提示,还是收紧工具 schema。
推荐做一个简单决策规则:
- 小模型达到验收线、且成本明显更低:留在高并发路径;
- 旗舰模型提高成功率,但成本涨幅超过业务毛利:放在低频或升级路径;
- 两者都不稳定:先修工具接口和任务边界;
- 错误无法自动恢复:保留人工确认,不让模型无限重试。
这比问"哪个模型最强"更接近上线决策。
编辑思考
Qwen4-Max 真正可能改变的不是某个团队的默认模型,而是 Agent 的模型路由与预算分配。旗舰模型更擅长处理复杂节点,确实可能减少重试;但如果简单任务也全部升级,单任务成本会先膨胀。能按步骤动态选模型、把异常交给更贵的模型处理,才是这次发布更值得关注的地方。
它和过去追逐榜单也不同。公开 benchmark 常把复杂能力压成一次成功与否,真实 Agent 却要经过多轮工具调用、参数校验和异常恢复。483 points 说明开发者关心它,197 条评论说明分歧足够多;这些都不能替代自己的 30 道任务、5 次重复运行。
仍有几处空白:正式 API 定价、地区可用性、上下文长度、工具调用细节,以及开放权重的准确范围,都应以 Qwen 官方发布页和实际服务条款为准。在这些信息确认前,最稳妥的动作不是立即迁移,而是先建立可复现基线,再看它是否真的降低了"每个成功任务"的成本。
来源
- https://qwen.ai/blog?id=qwen4-max
- https://news.ycombinator.com/item?id=50513215