大模型

MAI Code 2 深度解析:代码 Agent 开始拼成本

微软同时发布 MAI Code 2 与 MAI Code 2 Flash。本文从延迟、推理成本、模型路由和任务成功率出发,判断代码 Agent 如何控制多轮调用账单。

字号

微软 AI 发布了 MAI Code 2 和 MAI Code 2 Flash,两款模型都属于 MAI 模型家族,也都面向软件开发与代码生成。

这次发布最值得看的,不是某个 benchmark 又涨了多少分,而是微软第一次把两档模型放进同一张产品表:前者承接复杂生成与代理任务,后者面向更低延迟、更低推理成本的高频调用。

对代码 Agent 来说,这比单次回答是否漂亮更接近生产问题。一个修 bug 的任务,常见链路是读仓库、定位文件、修改代码、运行测试、根据报错二次修改。模型不是只被调用一次,而是进入一个循环。

两款模型,不只是高低配

MAI Code 2 与 MAI Code 2 Flash 构成了能力和效率上的差异化定位。

如果把它们理解成同一模型的“完整版”和“迷你版”,很容易漏掉产品设计。Code 2 更适合复杂代码生成、需要理解较长上下文的代理任务;Code 2 Flash 争夺的是更短的响应时间,以及更低的单位推理成本。

这个区别很重要。

交互式编程工具里,用户可能盯着补全结果等一两秒。批处理代码审查、自动修测试、CI 里持续运行的 Agent,则可能在一天内触发成千上万次模型调用。后者对成本的敏感度远高于前者。

代码模型也不只是“生成一段 Python”。它要能接住上一轮的测试日志,保留已经修改过的文件状态,再决定下一步动作。上下文越长、轮次越多,延迟和费用越难被忽略。

因此,双版本发布至少说明微软已经承认:代码模型不存在适合所有场景的唯一配置。能力是一层,调用成本和等待时间又是另一层。

微软对这次发布的说明可见于官方文章:Introducing MAI Code 2 and MAI Code 2 Flash。

93 分背后的开发者算账

这条发布消息登上了 Hacker News 首页,获得 93 分和 33 条评论。

93 分当然能说明开发者关注度,但不能直接换算成生产可用性。开发者更常见的判断方式是:

  • 一项修改要花多少钱?
  • 从发出指令到看到首个结果要等多久?
  • 连续调用十轮后,状态和错误恢复是否稳定?
  • 测试失败后,它能不能继续修,而不是重新解释任务?

这也是为什么 Code 2 Flash 可能比旗舰版本更值得研究。

假设一次代理任务要调用模型 20 次,单次价格即使看起来只差一点,乘上多轮调用、失败重试和并行工具调用后,也会成为 API 账单的主要部分。相反,首 token 延迟减少 1 秒,如果出现在每次工具调用之前,整条链路的等待时间会被继续放大。

开发者讨论模型时,常把 benchmark 分数放在一起比较。但对 AI Agent 来说,更有用的指标可能是“完成一个可合并改动”的总成本:

任务总成本 = 模型调用次数 × 单次输入输出成本
任务总延迟 = 等待模型时间 + 工具执行时间 + 重试时间

这个公式还故意省略了人工检查、测试运行和部署时间。模型榜单上的领先,如果伴随更多轮返工,最后未必更省。

Flash 可能是更重要的版本

代码 Agent 的多轮调用特性,是 Flash 版本的核心价值。

以一个跨文件重构为例,Agent 通常先搜索调用点,再读取几个相关模块,提出修改计划,然后编辑代码、运行单元测试。如果测试失败,它还要读取错误输出,判断是实现错误还是测试环境问题,再改一次。

这些步骤不是均匀分布的。最难、最值得投入更多算力的可能是规划与修复阶段;搜索、摘要、简单补丁、错误分类则未必需要同一档模型。

这给了一种很现实的架构:用 MAI Code 2 处理规划和复杂修改,用 MAI Code 2 Flash 处理高频、相对机械的子任务。系统不必只选一个模型,也可以按照任务阶段路由。

真正的生产门槛在于路由是否可靠。便宜模型误判一次,可能导致多跑几步测试、浪费更多调用;最后省下的 token,可能被返工吃掉。评估 Flash 时,不应只测“一次生成一段函数”,而应记录完整代理轨迹中的:

  1. 完成率;
  2. 平均调用轮数;
  3. 失败后恢复次数;
  4. 每个任务的 token 和费用;
  5. 用户等待时间。

如果只能看到官方演示里的首轮效果,还很难判断两个版本在真实仓库里的差距。

从模型发布到工程部署

选代码模型时,我会看四件事。

延迟要放进完整链路

模型响应时间不等于产品响应时间。代码 Agent 还在执行 shell、搜索索引、读取文件和运行测试。某些操作可以并行,某些必须等待模型决定下一步。

如果 MAI Code 2 Flash 的低延迟优势能够稳定落在工具调用循环里,它会直接影响开发体验。用户看到的是 Agent 每隔几秒推进一次,还是长时间没有反馈,感受完全不同。

上下文不是越长越好

长上下文能装下更多仓库内容,但也会增加推理时间和成本。更有用的能力,是能否准确定位相关文件,并在多轮任务中持续维护状态。

代码仓库不是一篇从头读到尾的文档。符号引用、调用关系、版本差异和测试失败,往往比整段文件内容更关键。

代码执行闭环比单次补全更重要

一次生成正确,不代表代理任务能完成。模型需要理解工具返回的结构化结果,把编译错误、测试日志和代码 diff 纳入下一步决策。

这里应该用真实仓库做评测,而不是只做 HumanEval 一类短题。一个任务能否稳定经历“搜索—修改—测试—修复—再测试”,比单轮代码正确率更接近上线后的结果。

API 成本要和失败率一起算

低价格不能只看标价。输入 token、输出 token、缓存、并行调用、重试和模型路由,都会改变最终账单。

我更倾向于记录每个成功合并任务的成本:

每个成功任务成本 = 全部模型费用 + 测试与执行资源费用

再与人工修复时间放在一起比较。这样才是在算业务成本,不是在比较宣传数字。

编辑思考

专用代码模型正在进入工程成本竞争。过去开发者挑模型,常先看单次生成效果:benchmark 分数、代码是否通过、回答速度大致如何。现在仅凭这些指标已经不够,因为 AI Agent 把一次模型回答扩成了多轮工具链,失败重试和上下文膨胀都会放大成本。

这次与过去不同之处,是微软没有只发一个旗舰模型,而是同时给出能力型 Code 2 与效率型 Code 2 Flash,直接把单位任务成本和等待时间摆到产品中心。至少从产品结构看,Flash 可能比更高分的版本更接近规模化部署刚需。

但我的判断仍有限。公开信息还不足以证明两者在真实仓库中的完成率差距,也没有给出足够的任务级成本数据。价格、许可范围、接口限制和长任务稳定性,都会决定它们能否进入现有开发工具链。模型已经进入成本竞争,最终答案却要看账单和失败日志,而不是发布会。

来源

来源: https://microsoft.ai/news/introducing-mai-code-2-and-mai-code-2-flash/