框架

投顧 Agent 評測缺口:FinSkillBench 問了一個沒人敢碰的問題

泛用 benchmark 測的是「會不會說話」,FinSkillBench 測的是「會不會算帳」。組合建構、風險管理、財務分析三關,直接考驗 Agent 能不能抓對資料、跑對模型、出對報表。

字級

把 GAIA、AgentBench 這套泛用 Agent 評測丟給一位金融分析師,他會立刻點出問題:這些 benchmark 在測「會不會呼叫工具」,但沒有驗證金融計算的正確性。

更棘手的是輸出可審計性。一個 Agent 答錯了歷史本益比,沒人會察覺;一個 Agent 答錯了 2008 年的市場曝險,對帳時就會被監管單位挑出來。

arXiv:2608.18099v1 提出的 FinSkillBench,就是想在這片空白區畫下一條線。

現有金融評測都漏掉了什麼

GAIA 測的是泛用推理與工具呼叫能力。AgentBench 涵蓋網頁瀏覽、資料庫操作、作業系統等場景。兩者皆不驗證金融計算的正確性,也不關心輸出能否被審計。

金融場景的幾個關鍵問題常被忽略:

  • 資料時效性:投顧場景需要 point-in-time 資料——回答 2008 年的問題,不能拿 2010 年才發布的公司財報。
  • 中間步驟可審計:一個 Agent 輸出「組合波動率 12%」,卻沒說明用了哪幾組收益率序列、協方差矩陣怎麼估計、用了哪種衰減因子,監管與合規端就無法覆核。

FinSkillBench 把投資管理明確定義為 high-stakes domain,要求 Agent 走完四步流程:

  1. 擷取 point-in-time 資料
  2. 組裝正確的計算輸入
  3. 呼叫專業方法
  4. 輸出可審計的結構化報表

任何一步出錯,結果都不可信。

FinSkillBench 的三個考區:組合/風險/基本面

論文把這三個領域直接對應到真實投顧工作流程。

組合建構(portfolio construction)——給定投資範圍與限制,讓 Agent 產出最佳組合。常見的坑:用錯基準收益率、調錯風險厭惡參數、忽略換手成本。

風險管理(risk management)——計算 VaR、壓力測試、因子曝險。常見的坑:用未來資料回推歷史、協方差窗口選錯、對非線性風險做線性近似。

基本面分析(fundamental analysis)——拆解財報、計算估值倍數。常見的坑:用錯會計準則、誤把季度資料當年度資料、可比公司選錯產業。

三個領域的共同點:Agent 不只要「答對數字」,還得交代計算依據。

核心難題不是「答對」,而是「經得起審計」

泛用 QA benchmark 看的是最終答案對不對。金融場景的硬門檻則是審計要求。

兩個約束把 Agent 拉回工程現實:

  • Point-in-time 資料擷取:必須明確告訴系統「我問的是哪一天的什麼」。實際投顧工作裡,分析師按照「資料可用日」擷取——3 月 31 日發布的年報,4 月 1 日才能進入投組模型。一個 Agent 若不區分「事件日」與「可取得日」,就會引入前視偏差(look-ahead bias)。
  • 可審計的結構化輸出:輸出必須能夠被程式化覆核。「波動率約 12%」不夠,需要的是 {"portfolio_id": "X", "method": "historical_var_1y_99", "value": 0.12, "inputs": [...], "timestamp": "..."} 這種帶欄位的報表。

這兩個約束,正是 FinSkillBench 與泛用評測的關鍵分野。論文摘要也寫明評估目標是「whether language model agents can effectively use financial domain skills」,而非語言流暢度。

Agent 跑出來到底能不能用?——談談評測方法本身

FinSkillBench 的評分邏輯看兩點:

  • 結果對不對:最終數字是否落在可接受區間。
  • 過程對不對:中間步驟是否合理——用了哪份資料、呼叫了什麼方法、是否維持 point-in-time 一致性。

這樣的設計是權衡出來的:只看結果,Agent 可能靠猜對幾個數字蒙混過關;只看過程,會忽略最終的商業價值。兩者結合更貼近真實投顧的「雙重校驗」——交易前看邏輯,結算後看數字。

評估目標也很明確:能否有效運用金融領域技能。這與語言流暢度評測(例如某些 LLM-as-judge 框架)不同,更接近傳統金融軟體的驗證流程——單元測試+整合測試+人工稽核。

垂直 benchmark 這條路走得通嗎

FinSkillBench 並非孤例。醫療、法律、金融賽道上,垂直 benchmark 正大量出現。

這背後有一個判斷:MMLU 這類大而泛的 benchmark,訊號正在衰減。三個原因:

  • 模型在泛用任務上趨同——MMLU 拿 80 分和 85 分的差距,越來越難看出實質能力差異。
  • 產業場景需要專業知識——金融計算、法律條文、醫療診斷,泛用 benchmark 覆蓋不到。
  • 可審計性是工程剛需——泛用 benchmark 不驗證輸出結構,垂直場景必須驗證。

「小而專」的評測會不會比「大而泛」的更有訊號?我的判斷是會——前提是設計者真的懂這個領域。FinSkillBench 的設計者懂這一行:他們知道投資管理是 high-stakes domain,知道四步流程必須打通,知道審計要求是硬門檻。

回到最初的問題:投顧 Agent 的評測缺口誰來填?FinSkillBench 是一個起點,但遠遠不是終點。下游開發者拿到這個 benchmark,跑完自己微調過的模型,發現某類風險計算的準確率只有 60%——這才是垂直 benchmark 的真正價值:它不測「你會不會說話」,它測「你能不能幹活」。


參考來源:arXiv:2608.18099 - FinSkillBench

來源: https://arxiv.org/abs/2608.18099