工具

GVS5H 實測解析:5 個 Qwen3.8-27B 為何能追平 Fable 5

Hacker News 熱門討論指出,5 個 Qwen3.8-27B 模型透過 GVS5H harness 達到 Fable 5 水準。這項結果不只反映模型能力,也凸顯 Agent 評測中測試框架的重要性。

字級

Hacker News 熱門討論顯示,5 個 27B 模型在接入 GVS5H harness 後,被報告達到 Fable 5 的水準。本文將拆解其評測協議,並提供可重現的對照測試方式。

先看結論,別急著換模型

Hacker News 上有一則值得深入拆解的討論。該專案獲得 99 分與 26 則留言,並登上 front page。討論焦點不是某款新模型的發布,而是一項耐人尋味的結果:同一批 Qwen3.8-27B 模型接入 GVS5H harness 後,被報告達到 Fable 5 的水準。

但別急著把結論寫成「27B 模型擊敗了更大的對手」,因為這句話缺少必要的測試邊界。

模型是誰、規模多大,只是評測結果的一列。另一個關鍵變數是 GVS5H:任務如何生成、工具如何接入、失敗後如何重試、輸出如何驗證。對 Agent 而言,這些條件可能比參數量更直接地決定最終得分。

專案程式碼位於 GitHub:

https://github.com/slee-persis/GVS5H

新聞摘要將 GVS5H 描述為用於評估模型工具呼叫、代理執行等能力的 GitHub 測試框架。因此,這次比較並非單純的模型對模型,而是「特定模型規模 + Fable 5 + GVS5H 測試工具」共同作用的結果。

我的第一個判斷是:先別急著換模型,先檢查 harness。

GVS5H 究竟測了什麼

要判斷「追平」是否有意義,不能只看 README 裡的最終分數,至少要先確認三件事:

  1. 所有模型的任務是否都來自同一組固定題目。
  2. 每個模型收到的 system prompt 是否完全一致。
  3. 工具呼叫是否採用相同的 schema 與錯誤回傳格式。

在 Agent 評測中,提示詞只差一句話,模型可能就从「穩定命中工具」變成「反覆解釋自己」。工具描述即使只改一個參數名稱,也可能讓成功率相差十幾個百分點。

GVS5H 的價值在於,它不只是一個模型名稱,而是一套完整的執行協議。新聞摘要對它的定位也很明確:評估模型的工具呼叫、代理執行等能力。測試框架負責組織任務、呼叫模型、接入工具,再依執行結果計分。

進行重現測試時,我會先找出以下四類檔案:

  • 任務定義:輸入、目標與驗收條件。
  • Prompt 模板:是否包含針對特定模型的分支。
  • Tool schema:參數、回傳值與錯誤語意。
  • Scorer:最終分數如何計算,以及是否允許後處理。

接著,每次執行都要保存原始 trace,至少包含:

  • 模型完整版本或權重 hash
  • API endpoint 與 provider
  • temperature、top_p、max_tokens
  • 每一輪工具呼叫與回傳結果
  • 重試次數與逾時設定
  • 最終評分器輸出

缺少這些資訊,排行榜只能說明「某次執行得了多少分」,無法反映模型本身的能力。

5 個模型得分接近,不代表底層能力一致

為什麼 5 個 27B 級模型可能在相同工具與驗證流程下得到相近結果?

因為 harness 會壓縮模型間的差異。

第一層是任務結構。許多 Agent 任務最終都能拆解為:讀取狀態、選擇工具、傳入正確參數、檢查結果、決定繼續或結束。只要工具 schema 足夠明確,不同底座模型便更容易採取相同的解題路徑。

第二層是回饋迴圈。模型第一次呼叫失敗後,工具回傳的錯誤訊息等同於線上提示詞,可能指出缺少參數、路徑錯誤或結果不符條件。強模型更善於利用這些回饋,弱模型也可能因此獲得修正機會。

第三層是後處理。如果框架會修正 JSON、重排工具結果或過濾無效呼叫,最後測到的便不完全是裸模型,而是「模型 + harness + 修復器」的組合。

因此,5 個模型得到接近的分數,不代表它們的推理能力同質。更可能的情況是,固定協議縮小了執行路徑上的方差,將多個模型推向相近的可達終點。

這裡還有一個容易被忽略的問題:5 個模型是否共用同一份 Prompt 模板?是否存在針對特定模型的 tool routing、token 限制或重試規則?如果有,最終分數就不能直接當作橫向比較。

如何重現與 Fable 5 的比較

目前能確認的是,專案宣稱 5 個 Qwen3.8-27B 模型接入 GVS5H harness 後,達到 Fable 5 的水準。要驗證這項說法,重點不是再截一張排行榜畫面,而是進行同條件對照。

建議分成三組:

A 組:固定 harness,更換模型

保持任務、Prompt、工具 schema、scorer 與資源限制不變,只替換模型。這是驗證模型排名最乾淨的一組測試。

B 組:固定模型,更換 harness

使用同一個 Qwen3.8-27B,分別在 GVS5H 與另一個 Agent 框架上執行。如此才能看出測試協議貢獻了多少。

C 組:固定模型與 harness,只修改一項變數

逐一調整 temperature、重試次數、上下文長度、工具描述或並行限制。相較於同時修改五項設定,這種結果更容易解釋。

每次至少執行 3 輪,並回報平均值與離散區間。Agent 任務具有隨機性,單次成功很容易被誤讀為能力差異。如果 repository 提供官方執行指令,應優先依 README 固定依賴與版本,不要先修改環境:

git clone https://github.com/slee-persis/GVS5H.git
cd GVS5H

Repository 的 README 才是最終指令來源。具體依賴與執行入口可能隨 commit 變動,不能根據常見的 Python Agent 專案自行猜測安裝與執行方式。

我尤其建議將日誌保存為機器可讀格式,例如統一記錄每一輪事件:

{
  "run_id": "example-run",
  "model": "replace-with-exact-model-version",
  "task_id": "replace-with-task-id",
  "attempt": 1,
  "tool": "replace-with-tool-name",
  "arguments": {},
  "passed": false,
  "score": null,
  "error": null
}

這只是日誌格式範例,不是 repository 的官方評分程式。它的用途是確保原始呼叫可以追蹤與重算。最终日誌應直接由 harness 的原始 trace 轉換而來,不要手工抄寫分數。

排行榜之外,harness 正成為新的變數

我的判斷可能與熱門討論的興奮點相反:Agent 排行榜上的排名,正逐漸反映測試協議,而非裸模型的能力。

原因並不神秘。

傳統 LLM 評測多以單輪輸入與固定答案為核心;Agent 評測則包含狀態、工具、回饋與重試。模型會不會呼叫工具,有時與「是否理解任務」關係不大,反而取決於介面是否清楚、錯誤訊息是否可供採取行動,以及重試是否沒有成本。

harness 就像編譯器與 runtime。

同一個模型放進不同 runtime,延遲、可用工具、錯誤處理與上下文裁切都會改變。LangGraph 式的顯式狀態圖可以限制流程;ReAct 式循環給予模型更多自主權;MCP 風格的工具接入則擴大了可呼叫範圍。框架差異不是包裝層,而是系統行為的一部分。

因此,未來更有價值的公開數據,可能不再是單純的「模型 × 分數」表格,而是:

model × harness × tool schema × prompt version × budget

只有這些維度齊全,排名才具備可遷移性。

還有一項更實用的建議:將模型選型與 harness 選型分開進行。模型基線用來回答「底座模型是否會推理」,harness 基線則用來回答「這套任務是否被合理執行」。若將兩者混在同一次比較中,即使最終勝出,也無從判斷該優化 Prompt、替換模型,還是修改工具介面。

編輯觀察

這項結果之所以重要,不是因為「5 個 Qwen3.8-27B 真的全面追平 Fable 5」,而是它揭露 Agent 評測愈來愈依賴 harness。模型規模、比較對象與測試工具缺一不可,任何一項變數改變,排名都可能重寫。

我的預測是,未來三個月會出現更多「同一模型、不同 Agent harness」的對照測試。團隊選擇模型時,也會像選擇推理引擎一樣,固定 runtime、工具 schema 與資源預算。差別在於,過去的排行榜預設測試協議維持穩定,現在這個預設正逐漸失效。

GVS5H 可能成為 27B 模型 Agent 評測的候選基線,但目前資訊仍不足以確認這 5 個模型是否真正達到 Fable 5 的原始成績。下一步應先稽核程式碼,再以固定版本進行多輪重現,而不是繼續放大「追平」這個說法。

來源: https://github.com/slee-persis/GVS5H