投管 Agent 评测空白:FinSkillBench 想回答一个没人敢问的问题
把 GAIA、AgentBench 这套通用 Agent 评测丢给一个金融分析师,他会很快指出问题:这些 benchmark 在测"会不会调用工具",但不验证金融计算对不对。
更麻烦的是输出可审计性。一个 Agent 答错了历史 P/E,没人发现;一个 Agent 答错了 2008 年的市场敞口,对账时会被监管拎出来。
arXiv:2608.18099v1 提出的 FinSkillBench,就是想在这个空白里画一条线。
现有金融评测都漏掉了什么
GAIA 测的是通用推理和工具调用。AgentBench 覆盖网页浏览、数据库操作、操作系统等场景。两者都不验证金融计算正确性,也不管输出能不能被审计。
金融场景的几个关键问题常被忽略:
- 数据时效:投管场景要 point-in-time 数据——回答 2008 年的问题,不能用 2010 年才发布的公司财报。
- 中间步骤可审计:一个 Agent 输出"组合波动率 12%",但没说用了哪几个收益率序列、协方差矩阵怎么估、用了哪种衰减因子,监管和合规没法复核。
FinSkillBench 把投资管理明确定义为 high-stakes domain,要求 Agent 走完四步链路:
- 检索 point-in-time 数据
- 组装正确的计算输入
- 调用专业方法
- 输出可审计的结构化报表
任何一步错,结果都不可信。
FinSkillBench 的三个考区:组合 / 风险 / 基本面
论文把这三个域直接对到真实投管工作流。
组合构建(portfolio construction)——给定投资范围和约束,让 Agent 产出最优组合。容易踩的坑:用错基准收益率、调错风险厌恶参数、忽略换手成本。
风险管理(risk management)——计算 VaR、压力测试、因子暴露。容易踩的坑:用未来数据算历史回溯、协方差窗口选错、对非线性风险做线性近似。
基本面分析(fundamental analysis)——拆解财报、算估值倍数。容易踩的坑:用错会计准则、错把季度数据当年度、可比公司选错行业。
三个域的共同点:Agent 不只要"答对数字",还得交代计算依据。
核心难点不是"回答对",而是"对得起审计"
通用 QA benchmark 看重最终答案对不对。金融场景的硬门槛是审计要求。
两个约束把 Agent 拉回了工程现实:
- Point-in-time 数据检索:必须明确告诉系统"我问的是哪一天的什么"。实际投管里,分析师按"数据可用日"检索——3 月 31 日发布的年报,4 月 1 日才能在投组模型里用。一个 Agent 不区分"事件日"和"可获取日",就会引入前视偏差(look-ahead bias)。
- 可审计结构化输出:输出得能被程序化复核。"波动率约 12%"不够,要的是
{"portfolio_id": "X", "method": "historical_var_1y_99", "value": 0.12, "inputs": [...], "timestamp": "..."}这种带字段的报表。
这两个约束,是 FinSkillBench 区别于通用评测的核心。论文摘要也写明评估目标是"whether language model agents can effectively use financial domain skills",不是语言流畅度。
Agent 跑出来到底能不能用?——谈谈评测方法本身
FinSkillBench 的打分逻辑看两点:
- 结果对不对:最终数字是否落在可接受区间。
- 过程对不对:中间步骤是否合理——用了哪份数据、调用了什么方法、是否保持 point-in-time 一致性。
这种设计是取舍出来的:只看结果,Agent 可能靠猜对几个数混过去;只看过程,会忽略最终商业价值。两者结合更接近真实投管的"双重校验"——交易前看逻辑,结算后看数字。
评估目标也很明确:能否有效使用金融领域技能。这区别于语言流畅度评测(像某些 LLM-as-judge 框架),更接近传统金融软件的验证流程——单元测试 + 集成测试 + 人工审计。
垂直 benchmark 这条路走得通吗
FinSkillBench 不是孤例。医疗、法律、金融赛道上,垂直 benchmark 正在批量出现。
这背后是一个判断:MMLU 这类大而泛的 benchmark,信号正在衰减。三个原因:
- 模型在通用任务上趋同——MMLU 80 分和 85 分的差距,越来越难看出实际能力差异。
- 行业场景需要专属知识——金融计算、法律条款、医疗诊断,通用 benchmark 覆盖不到。
- 可审计性是工程刚需——通用 benchmark 不验证输出结构,垂直场景必须验证。
"小而专"的评测会不会比"大而泛"的更有信号?我的判断是会——前提是设计者真的懂这个领域。FinSkillBench 的设计者懂:他们知道投资管理是 high-stakes domain,知道四步链路必须打通,知道审计要求是硬门槛。
回到最初的问题:投管 Agent 的评测空白谁来填?FinSkillBench 是一个开始,但远不是终点。下游开发者拿到这个 benchmark,跑完自己微调的模型,发现某类风险计算准确率只有 60%——这才是垂直 benchmark 的真正价值:它不测"你会不会说话",它测"你能不能干活"。