产品

Dayjob Tax 评测:AI Agent 税务能力够用吗

Surges 用 50 项专业税务任务测试 AI Agent。本文重点分析资料缺失、计算追溯、引用可靠性和生产权限,不只看总分。

字号

Surges 用 50 项专业税务任务测试 AI Agent。本文不只看总分,重点分析它能否在合规流程里可靠交付。

税务场景适合检验 AI Agent。

问题看起来明确,结果也能用文本交付。但真做下去,会碰到资料是否完整、计算是否正确、依据能否追溯、结果能否复核。

这比普通问答多了一层:答案不是终点,而是一段有责任边界的交付流程。

Surges 发布的 Dayjob: Tax,测的就是这一层能力。它设置 50 项专业税务任务。任务环境专业,也带明确的合规要求。

50 道税务题,不只是答题考试

Dayjob: Tax 不是让模型解释税务概念,也不是做几道常见问答。

它设置的是 50 项专业税务任务。这类任务通常需要组合多步操作:

  • 找到并读取业务资料;
  • 识别适用规则和计算口径;
  • 调用计算或查询工具;
  • 把结果组织成可交付文档;
  • 标出依据,供人工复核。

普通问答一次生成成立,就算完成。专业任务更严格。少一个必要输入,或引用错一条规则,即使数字看起来合理,也可能无法交付。

这也是 Agent 与聊天机器人的直观区别:Agent 不只生成答案。它还要使用工具、维护上下文,并处理中途失败。

Dayjob: Tax 把这种差异放进税务环境。税务既要求专业判断,也要求结果能解释。提交一份无法追溯的税表,和提交一份有完整依据但需要修正的税表,风险完全不同。

所以,看这份评测不能只盯总体正确率。还要看它测了什么任务、允许 Agent 使用什么工具,以及交付物是否包含复核所需的信息。

Agent 的短板,可能藏在流程缝隙

单次回答正确,不等于端到端任务可靠。

Agent 做税务任务时,翻车点常在流程中间。

1. 资料缺失时,它会不会继续算

真实工作很少收到一份字段齐全、命名整齐的附件。

收入可能在邮件里,抵扣凭证在 PDF,税率调整写在另一份政策文件中。Agent 如果拿不到资料,应该返回缺口,而不是补一个看似合理的数字。

最危险的失败不是报错,而是无声猜测。

2. 多步计算能否保持一致

税务计算通常是一条计算链:收入减去允许扣除项,再按适用规则得到应税金额,最后处理预缴、抵免或附加项。

中间任意一步用错口径,最后结果都可能错。更麻烦的是,Agent 可能只展示最终数字,不暴露中间值。

人无法复核一个黑盒数字。至少应该保留关键中间值、计算公式和数据来源。

3. 引用依据是否支持结论

“附了几个链接”不等于提供了依据。

Agent 需要说明引用的是哪条规则、适用于什么条件,以及它如何影响计算。引用与结论不一致,比不引用更难发现。

合规场景里,引用不是装饰。它是审计路径的一部分。

4. 有没有留下复核入口

专业交付不能把最后一步留给用户猜。

比较可靠的做法,是同时输出结论、计算过程、原始依据和待确认事项。人可以快速找到需要判断的地方,不必从零重做。

这也是 Dayjob: Tax 比常规 benchmark 更接近企业工作的地方:它测的是可交付性,不只是“答对没有”。

高合规场景不能只看平均分

50 项任务的平均分适合横向参考,但不适合单独证明 Agent 可以进入生产。

假设一个 Agent 答对 45 项,平均正确率是 90%。仍有 5 项失败。如果其中 3 项涉及错误申报、材料遗漏或不可追溯的结论,影响并不小。

在高合规场景,我会看四个指标。

第一,最差任务表现。 不只看平均分,也看最低分任务。Agent 在哪些输入条件下会失灵,比总体排名更有用。

第二,严重错误率。 把错误分级。结论性错误、引用错误、计算错误和遗漏确认项,不应混在一个数字里。

第三,可追溯性。 每个结论能否回到输入数据、计算步骤和原始依据。如果不能,平均正确率再高,也难以外包责任。

第四,失败方式。 好的失败会明确说“缺少 2025 年抵扣凭证,因此无法确认该笔金额”。坏的失败是继续算,并给出过度自信的答案。

这四个指标共同决定的,不是 Agent 聪不聪明,而是企业敢不敢让它处理下一项任务。

生产系统还应采用更小的权限边界。能读资料,不代表能提交申报。能计算,不代表能选择最终申报口径。让 Agent 给出结果,再由系统规则或专业人员确认,通常比开放式权限更稳妥。

HN 的 73 分与 46 条评论意味着什么

该项目登上 Hacker News 首页,获得 73 分和 46 条评论。

这组数字不算夸张的热度,但足以说明开发者愿意认真讨论它。

73 分表示项目获得了可见度,46 条评论表示讨论没有停留在榜单转发。开发者会追问任务是否真实、评分是否可信、错误如何分类,以及企业部署时有哪些限制不能绕开。

原评测在这里:Dayjob: Tax

讨论链接在这里:Hacker News 讨论

开发者关心的不是又一张模型榜单,而是一个更实际的问题:Agent 在真实企业工作流里,能不能承担一段有明确责任的专业任务。

这也是专业 Agent 评测接下来要补的内容。公开更多失败样例,说明每项任务所需资料和工具,并给出可复核的交付标准。否则,一个漂亮的总分仍然容易掩盖最昂贵的错误。

编辑思考

Dayjob: Tax 最重要的信号,不是 50 项任务得了多少分,而是专业评测开始从“答案对不对”转向“流程能不能交付”。它和过去的通用问答评测不同:税务任务离不开资料完整性、计算链、引用依据与人工复核,单独展示正确率意义有限。

我的判断是,下一阶段真正可用的 AI Agent 不会拥有无限权限,而会在风险点主动停下。企业需要的可能不是更敢做的 Agent,而是权限更小、校验更硬的工作流。

目前仍不确定评测细节。如果任务输入被过度整理,或失败严重度没有严格区分,可追溯性可能只是展示项。现有素材能确认 Surges 搭建了 50 项专业任务评测;它能否预测真实申报风险,还要等后续案例。

来源: https://surgehq.ai/blog/dayjob-tax