工具

GVS5H 实测:5 个 Qwen3.8-27B 追平 Fable 5

Hacker News 热帖称,5 个 Qwen3.8-27B 模型借助 GVS5H harness 达到 Fable 5 水平。本文先审计评测边界,再给出可复现的对照方案。

字号

Hacker News 热帖显示,借助 GVS5H harness,5 个 27B 模型被报告达到 Fable 5 水平。本文拆解评测协议,给出复现步骤。

先看结论,不急着换模型

Hacker News 上有一条值得拆开的讨论。项目获得了 99 分和 26 条评论,并登上 front page。讨论焦点不是某个新模型发布,而是这样一个结果:同一批 Qwen3.8-27B 模型接入 GVS5H harness 后,被报告达到 Fable 5 水平。

先别急着把结论写成“27B 模型击败了更大的对手”。这句话缺少测试边界。

模型是谁、模型多大,只是结果的一列。另一个关键变量是 GVS5H:任务怎么出,工具怎么接,失败后怎么重试,输出怎么验证。对 Agent 来说,这些条件可能比参数量更直接地决定最终得分。

项目代码在 GitHub:

https://github.com/slee-persis/GVS5H

新闻摘要将 GVS5H 描述为评估模型工具调用、代理执行或相关能力的 GitHub 测试框架。因此,这次比较不是只有模型名称对模型名称,而是“具体模型规模 + Fable 5 + GVS5H 测试工具”共同组成的结果。

我的第一判断是:先别换模型,先检查 harness。

GVS5H 到底测了什么

要判断“追平”有没有意义,不能只看 README 里的最终分数。至少要确认三件事:

  1. 任务是否来自同一个固定集合。
  2. 每个模型收到的 system prompt 是否一致。
  3. 工具调用是否使用同一套 schema 和错误返回格式。

Agent 评测里,提示词差一句话,模型就可能从“稳定命中工具”变成“反复解释自己”。工具描述改一个参数名,也可能把成功率拉出十几个百分点。

GVS5H 的价值在于,它不只是一个模型名字,而是一套执行协议。新闻摘要对它的定位也很明确:用于评估模型的工具调用、代理执行等能力。测试框架负责组织任务、调用模型、接入工具,再根据执行结果评分。

复现时,我会先找这四类文件:

  • 任务定义:输入、目标、验收条件。
  • Prompt 模板:是否包含模型专属分支。
  • Tool schema:参数、返回值、错误语义。
  • Scorer:最终分数如何计算,是否允许后处理。

然后记录每次运行的原始 trace。至少保留:

  • 模型完整版本或权重 hash
  • API endpoint 与 provider
  • temperature、top_p、max_tokens
  • 每轮工具调用及返回
  • 重试次数与超时设置
  • 最终评分器输出

没有这些信息,榜单只能说明“某次运行得了多少分”,不能说明模型能力本身。

5 个模型追平,不等于底座同质

为什么 5 个 27B 级模型可能在同一套工具和验证流程下收敛?

因为 harness 会压缩模型间的差异。

第一层是任务结构。很多 Agent 任务最终都能归结为:读取状态、选择工具、传入正确参数、检查结果、继续或结束。只要工具 schema 足够明确,不同底座会更容易采用同一种解题路径。

第二层是反馈回路。模型第一次调用失败后,工具返回的错误信息相当于在线提示词。它可能指出缺了参数、路径不对或结果不满足条件。强模型更会利用反馈,弱模型也可能因此被纠正。

第三层是后处理。若框架会修复 JSON、重排工具结果、过滤无效调用,那么最后测到的就不完全是裸模型,而是“模型 + harness + 修复器”的组合。

所以,5 个模型得到接近分数,不一定代表它们的推理能力同质。更可能的情况是:固定协议缩小了执行路径上的方差,把多个模型推到了相近的可达终点。

这里还要查一个很容易被忽略的问题:5 个模型是否共享同一 Prompt 模板?是否存在针对特定模型的 tool routing、token 限制或重试规则?若存在,最终分数不能被直接理解为横向比较。

Fable 5 对比该怎么复现

目前能确认的是项目声称:5 个 Qwen3.8-27B 模型接入 GVS5H harness 后达到 Fable 5 水平。要验证这句话,重点不是再截一张榜单图,而是做同条件对照。

建议分成三组:

A 组:固定 harness,换模型

保持任务、Prompt、工具 schema、scorer 和资源限制不变,只替换模型。这是验证模型排名最干净的一组。

B 组:固定模型,换 harness

用同一个 Qwen3.8-27B,分别跑 GVS5H 和另一个 Agent 框架。这样才能看到协议贡献了多少。

C 组:固定模型和 harness,只改一个变量

逐项改变 temperature、重试次数、上下文长度、工具描述或并发限制。结果比同时修改五项配置更容易解释。

每次至少跑 3 轮,报告均值和离散区间。Agent 任务常有随机性,单次成功很容易被误读成能力差异。若仓库提供官方运行命令,优先按 README 固定依赖和版本,不要先改环境:

git clone https://github.com/slee-persis/GVS5H.git
cd GVS5H

仓库 README 才是最终命令来源。具体依赖和入口可能随提交变化,不能根据常见 Python Agent 项目自行猜造安装与运行步骤。

我尤其建议把日志保存为机器可读格式。例如统一记录每轮事件:

{
  "run_id": "example-run",
  "model": "replace-with-exact-model-version",
  "task_id": "replace-with-task-id",
  "attempt": 1,
  "tool": "replace-with-tool-name",
  "arguments": {},
  "passed": false,
  "score": null,
  "error": null
}

这段是日志格式示例,不是仓库官方评分程序。它只负责保证原始调用可以追踪和复算。最终日志应直接由 harness 的原始 trace 转换,不要手工抄写分数。

榜单之外,harness 正在变成新变量

我的判断可能和热帖的兴奋点相反:Agent 榜单上的排名,正在越来越多地反映测试协议,而不是裸模型能力。

原因不玄学。

传统 LLM 评测多围绕单轮输入和固定答案展开。Agent 评测则包含状态、工具、反馈与重试。一个模型会不会调用工具,有时和“它是否理解任务”关系不大,反而取决于接口是否清晰、错误信息是否可操作、重试是否免费。

harness 就像编译器和运行时。

同一个模型放进不同 runtime,延迟、可用工具、错误处理和上下文裁剪都会变。LangGraph 式的显式状态图可以限制流程;ReAct 式循环给模型更多自主权;MCP 风格的工具接入则扩大了可调用范围。框架差异不是包装层,而是系统行为的一部分。

因此,未来更有价值的公开数据可能不是一张“模型 × 分数”表,而是:

model × harness × tool schema × prompt version × budget

只有这组维度齐全,排名才可迁移。

还有一个更实用的建议:把模型选型和 harness 选型分开做。模型基线负责回答“底座会不会推理”,harness 基线负责回答“这套任务是否被合理执行”。混在一次比较里,最终即使赢了,也不知道该优化 Prompt、换模型,还是改工具接口。

编辑思考

这次结果重要,不是“5 个 Qwen3.8-27B 真的全面追平 Fable 5”,而是它暴露了 Agent 评测越来越依赖 harness。模型规模、对比对象和测试工具缺一不可,任何一个变量变化,排名都可能改写。我的预测是,未来三个月会出现更多“同一模型、不同 Agent harness”的对照测试;团队选模型时,也会像选推理引擎一样固定 runtime、工具 schema 和预算。不同点在于,过去榜单默认测试协议稳定,现在这个默认正在失效。GVS5H 可能成为 27B 模型 Agent 评测的候选基线,但当前信息仍不足以确认 5 个模型是否真正达到 Fable 5 的原始成绩。下一步应先审计代码,再用固定版本多轮复现,而不是继续放大“追平”这个词。

来源: https://github.com/slee-persis/GVS5H