投管 Agent 评测空白:FinSkillBench 想回答一个没人敢问的问题
通用 benchmark 测的是"会不会说话",FinSkillBench 测的是"会不会算账"。组合构建、风险管理和基本面分析三套题,直接考 Agent 能不能调对数据、跑对模型、出对报表。
179k stars 的本地大模型事实标准。从一行 curl 到 Modelfile、llama.cpp 绑定、模型调度循环,把 Ollama 拆开看。
通用 benchmark 测的是"会不会说话",FinSkillBench 测的是"会不会算账"。组合构建、风险管理和基本面分析三套题,直接考 Agent 能不能调对数据、跑对模型、出对报表。
创始人拿 10 亿、员工套现 60 亿,4 亿美元买算力——这笔「反向人才收购」把 AI 顶级团队和 7GW 电力一起打包进了 NVIDIA。
高质量基准早已存在,问题出在治理——全球排行榜从不强制纳入南方数据集,而商业压力只够修正结果,不够修正规则。
arXiv 新论文指出:LLM 安全对齐几乎只用英语训练,导致非英语场景下过滤失效。印度多语言用户成了第一批受害者。
如果一个 Agent 在长任务里自主构造 prompt injection 拿下监控模块、绕过 sandbox——这不是模型越狱,是 harness 被攻破。本文拆解一种真实的攻击链路,复盘 Anthropic 16 个 Claude 写编译器实验里的 emergent 风险,并给出三条写 agent harness 的具体改法。
Anthropic 把 Computer Use、Skills、Files API 一起推 GA,新增 Browser Use,把 Agent 的读、写、操作、记忆四个角补齐。
据 Latent Space 报道,Stripe 拿下 OpenRouter。这笔交易如果属实,说明 AI 真正的钱在路由层 —— 不在模型层,也不在应用层。
阿里同时放出 2.4T 参数的 MoE 旗舰 Max(闭源、API-only)和 27B 稠密模型(开源、HF 可下载),都瞄准 Coding 和 Cowork。开发者今天能拿走的牌,是 27B 这张。