汎用Agent評価ベンチマークのGAIAやAgentBenchを金融アナリストに渡すと、すぐにこう返ってくるはずだ。「これらはツールを“使えるか”を見ているだけで、金融計算が正しいかどうかは検証していない」と。
さらに深刻なのは出力の監査性だ。Agentが歴史的P/Eを間違えても誰も気づかない。だが2008年の市場エクスポージャーを誤れば、照合の段階で規制当局に指摘される。
arXiv:2608.18099v1で提案されたFinSkillBenchは、この空白に一本の線を引くことを目指している。
既存金融ベンチが見落としてきたもの
GAIAは汎用推論とツール呼び出しを測り、AgentBenchはウェブ閲覧やデータベース操作、OS操作などをカバーする。どちらも金融計算の正しさは検証せず、出力の監査可否にも踏み込まない。
金融特有の実務要件は長く後回しにされてきた。
- データの時点性:投管ではpoint-in-timeデータが必須。たとえば「2008年の問い」には、2010年になって初めて公表された決算書は使えない。
- 中間ステップの監査可能性:「ポートフォリオのボラティリティは12%」と出力されても、どの収益率系列を使ったか、共分散行列の推定方法、減衰係数の選択が示されなければ、規制・コンプライアンス部門は再検証できない。
FinSkillBenchは投資運用を明確にhigh-stakesドメインと定義し、Agentに以下の四段階チェーンを完走させることを求める。
- point-in-timeデータの検索
- 正しい計算入力の組み立て
- 専門手法の呼び出し
- 監査可能な構造化レポートの出力
いずれかの段階でつまずけば、結果は信頼性を失う。
FinSkillBenchの三つの試験区——ポートフォリオ/リスク/ファンダメンタル
論文ではこの三つの領域を、実務の投管ワークフローに直接対応させている。
ポートフォリオ構築(portfolio construction)——投資ユニバースと制約条件を与えたうえで、最適ポートフォリオを組成させる。典型的な落とし穴は、ベンチマーク収益率の取り違え、リスク回避パラメータの調整ミス、回転コストの無視などだ。
リスク管理(risk management)——VaR算出、ストレステスト、ファクターエクスポージャー計算を行う。落とし穴は、将来データを使ったヒストリカルバックテスト、共分散ウィンドウの選定ミス、非線形リスクへの線形近似など。
ファンダメンタル分析(fundamental analysis)——決算書を分解し、バリュエーション倍率を算出する。落とし穴は会計基準の取り違え、四半期データと年次データの混同、比較会社の業種選定ミスなど。
三領域に共通するのは、Agentが「数字を当てる」だけでは不十分で、計算根拠まで説明しなければならないという点だ。
真の壁は「正答」ではなく「監査に耐えること」
汎用QAベンチマークは最終回答の正否を重視する。だが金融現場のハードルは監査要件にある。
二つの制約がAgentをエンジニアリングの現実に引き戻す。
- Point-in-timeデータ検索:システムに対し「いつの、何を」尋ねているかを明示しなければならない。実務のアナリストは「データ利用可能日」ベースで情報を引く。3月31日に公表された有価証券報告書は、4月1日になって初めて投管モデルに投入可能となる。「イベント日」と「取得可能日」を区別しないAgentは、look-ahead bias(前視バイアス)を生み出す。
- 監査可能な構造化出力:出力はプログラム的に再検証できなければならない。「ボラティリティはおよそ12%」では不十分で、求められるのは
{"portfolio_id": "X", "method": "historical_var_1y_99", "value": 0.12, "inputs": [...], "timestamp": "..."}のようなフィールド付きのレポート形式だ。
この二つの制約こそが、FinSkillBenchを汎用ベンチと差別化する核心である。論文アブストラクトも評価目標を「whether language model agents can effectively use financial domain skills」と明記しており、言語の流暢さを問うものではない。
Agentは本当に仕事で使えるのか——評価手法そのものを考える
FinSkillBenchの採点ロジックは二軸で構成される。
- 結果が正しいか:最終的な数値が許容範囲に収まっているか。
- 過程が正しいか:中間ステップが妥当か——どのデータを使ったか、どの手法を呼んだか、point-in-timeの一貫性が保たれているか。
この設計には明確な取舍がある。結果だけを見れば、Agentは推測でいくつか数字を当ててごまかせる。過程だけ見れば、最終的なビジネス価値を測れない。両者を組み合わせることで、実務の投管における「二重チェック」——取引前にロジックを確認し、決済後に数字を検証する——に近づく。
評価目的も明確で、「金融ドメインのスキルを有効に使えるか」を問うている。LLM-as-judgeフレームワークのような言語流暢度の評価とは異なり、従来型の金融ソフトウェア検証プロセス——ユニットテスト+結合テスト+人手による監査——に近い思想だ。
垂直ベンチというアプローチは機能するか
FinSkillBenchは孤立した事例ではない。医療、法律、金融の各トラックで、垂直ベンチが次々と登場している。
背景にはある判断がある。MMLUのような大きくて汎用的なベンチマークは、信号が減衰しつつある。理由は三点。
- モデルが汎用タスクで収斂しつつある——MMLUで80点と85点の差が、実際の能力差をほとんど示さなくなった。
- 業界ドメインには固有の知識が必要——金融計算、法律条文、医療診断は汎用ベンチの網に掛からない。
- 監査可能性はエンジニアリングの必須要件——汎用ベンチは出力構造を検証しないが、垂直領域ではそれが譲れない。
「小さく専門特化した」ベンチは、「大きく汎用的な」ベンチよりシグナルが強いのか。条件付きでイエスだ——ただし設計者がそのドメインを本当に理解している場合に限る。FinSkillBenchの設計者は分かっている。投資運用がhigh-stakesドメインであること、四段階チェーンを完全に通す必要があること、監査要件がハードリミットであることを。
最初の問いに戻ろう。投管Agentの評価空白を誰が埋めるのか。FinSkillBenchはその出発点であり、ゴールではない。ダウンストリームの開発者がこのベンチを手にし、自前でファインチューニングしたモデルを回して、ある種のリスク計算で精度60%しか出ないと気づく——それこそが垂直ベンチの真の価値だ。話せるかではなく、働けるかを測るのだから。