Hacker News 熱門討論顯示,5 個 27B 模型在接入 GVS5H harness 後,被報告達到 Fable 5 的水準。本文將拆解其評測協議,並提供可重現的對照測試方式。
先看結論,別急著換模型
Hacker News 上有一則值得深入拆解的討論。該專案獲得 99 分與 26 則留言,並登上 front page。討論焦點不是某款新模型的發布,而是一項耐人尋味的結果:同一批 Qwen3.8-27B 模型接入 GVS5H harness 後,被報告達到 Fable 5 的水準。
但別急著把結論寫成「27B 模型擊敗了更大的對手」,因為這句話缺少必要的測試邊界。
模型是誰、規模多大,只是評測結果的一列。另一個關鍵變數是 GVS5H:任務如何生成、工具如何接入、失敗後如何重試、輸出如何驗證。對 Agent 而言,這些條件可能比參數量更直接地決定最終得分。
專案程式碼位於 GitHub:
https://github.com/slee-persis/GVS5H
新聞摘要將 GVS5H 描述為用於評估模型工具呼叫、代理執行等能力的 GitHub 測試框架。因此,這次比較並非單純的模型對模型,而是「特定模型規模 + Fable 5 + GVS5H 測試工具」共同作用的結果。
我的第一個判斷是:先別急著換模型,先檢查 harness。
GVS5H 究竟測了什麼
要判斷「追平」是否有意義,不能只看 README 裡的最終分數,至少要先確認三件事:
- 所有模型的任務是否都來自同一組固定題目。
- 每個模型收到的 system prompt 是否完全一致。
- 工具呼叫是否採用相同的 schema 與錯誤回傳格式。
在 Agent 評測中,提示詞只差一句話,模型可能就从「穩定命中工具」變成「反覆解釋自己」。工具描述即使只改一個參數名稱,也可能讓成功率相差十幾個百分點。
GVS5H 的價值在於,它不只是一個模型名稱,而是一套完整的執行協議。新聞摘要對它的定位也很明確:評估模型的工具呼叫、代理執行等能力。測試框架負責組織任務、呼叫模型、接入工具,再依執行結果計分。
進行重現測試時,我會先找出以下四類檔案:
- 任務定義:輸入、目標與驗收條件。
- Prompt 模板:是否包含針對特定模型的分支。
- Tool schema:參數、回傳值與錯誤語意。
- Scorer:最終分數如何計算,以及是否允許後處理。
接著,每次執行都要保存原始 trace,至少包含:
- 模型完整版本或權重 hash
- API endpoint 與 provider
- temperature、top_p、max_tokens
- 每一輪工具呼叫與回傳結果
- 重試次數與逾時設定
- 最終評分器輸出
缺少這些資訊,排行榜只能說明「某次執行得了多少分」,無法反映模型本身的能力。
5 個模型得分接近,不代表底層能力一致
為什麼 5 個 27B 級模型可能在相同工具與驗證流程下得到相近結果?
因為 harness 會壓縮模型間的差異。
第一層是任務結構。許多 Agent 任務最終都能拆解為:讀取狀態、選擇工具、傳入正確參數、檢查結果、決定繼續或結束。只要工具 schema 足夠明確,不同底座模型便更容易採取相同的解題路徑。
第二層是回饋迴圈。模型第一次呼叫失敗後,工具回傳的錯誤訊息等同於線上提示詞,可能指出缺少參數、路徑錯誤或結果不符條件。強模型更善於利用這些回饋,弱模型也可能因此獲得修正機會。
第三層是後處理。如果框架會修正 JSON、重排工具結果或過濾無效呼叫,最後測到的便不完全是裸模型,而是「模型 + harness + 修復器」的組合。
因此,5 個模型得到接近的分數,不代表它們的推理能力同質。更可能的情況是,固定協議縮小了執行路徑上的方差,將多個模型推向相近的可達終點。
這裡還有一個容易被忽略的問題:5 個模型是否共用同一份 Prompt 模板?是否存在針對特定模型的 tool routing、token 限制或重試規則?如果有,最終分數就不能直接當作橫向比較。
如何重現與 Fable 5 的比較
目前能確認的是,專案宣稱 5 個 Qwen3.8-27B 模型接入 GVS5H harness 後,達到 Fable 5 的水準。要驗證這項說法,重點不是再截一張排行榜畫面,而是進行同條件對照。
建議分成三組:
A 組:固定 harness,更換模型
保持任務、Prompt、工具 schema、scorer 與資源限制不變,只替換模型。這是驗證模型排名最乾淨的一組測試。
B 組:固定模型,更換 harness
使用同一個 Qwen3.8-27B,分別在 GVS5H 與另一個 Agent 框架上執行。如此才能看出測試協議貢獻了多少。
C 組:固定模型與 harness,只修改一項變數
逐一調整 temperature、重試次數、上下文長度、工具描述或並行限制。相較於同時修改五項設定,這種結果更容易解釋。
每次至少執行 3 輪,並回報平均值與離散區間。Agent 任務具有隨機性,單次成功很容易被誤讀為能力差異。如果 repository 提供官方執行指令,應優先依 README 固定依賴與版本,不要先修改環境:
git clone https://github.com/slee-persis/GVS5H.git
cd GVS5H
Repository 的 README 才是最終指令來源。具體依賴與執行入口可能隨 commit 變動,不能根據常見的 Python Agent 專案自行猜測安裝與執行方式。
我尤其建議將日誌保存為機器可讀格式,例如統一記錄每一輪事件:
{
"run_id": "example-run",
"model": "replace-with-exact-model-version",
"task_id": "replace-with-task-id",
"attempt": 1,
"tool": "replace-with-tool-name",
"arguments": {},
"passed": false,
"score": null,
"error": null
}
這只是日誌格式範例,不是 repository 的官方評分程式。它的用途是確保原始呼叫可以追蹤與重算。最终日誌應直接由 harness 的原始 trace 轉換而來,不要手工抄寫分數。
排行榜之外,harness 正成為新的變數
我的判斷可能與熱門討論的興奮點相反:Agent 排行榜上的排名,正逐漸反映測試協議,而非裸模型的能力。
原因並不神秘。
傳統 LLM 評測多以單輪輸入與固定答案為核心;Agent 評測則包含狀態、工具、回饋與重試。模型會不會呼叫工具,有時與「是否理解任務」關係不大,反而取決於介面是否清楚、錯誤訊息是否可供採取行動,以及重試是否沒有成本。
harness 就像編譯器與 runtime。
同一個模型放進不同 runtime,延遲、可用工具、錯誤處理與上下文裁切都會改變。LangGraph 式的顯式狀態圖可以限制流程;ReAct 式循環給予模型更多自主權;MCP 風格的工具接入則擴大了可呼叫範圍。框架差異不是包裝層,而是系統行為的一部分。
因此,未來更有價值的公開數據,可能不再是單純的「模型 × 分數」表格,而是:
model × harness × tool schema × prompt version × budget
只有這些維度齊全,排名才具備可遷移性。
還有一項更實用的建議:將模型選型與 harness 選型分開進行。模型基線用來回答「底座模型是否會推理」,harness 基線則用來回答「這套任務是否被合理執行」。若將兩者混在同一次比較中,即使最終勝出,也無從判斷該優化 Prompt、替換模型,還是修改工具介面。
編輯觀察
這項結果之所以重要,不是因為「5 個 Qwen3.8-27B 真的全面追平 Fable 5」,而是它揭露 Agent 評測愈來愈依賴 harness。模型規模、比較對象與測試工具缺一不可,任何一項變數改變,排名都可能重寫。
我的預測是,未來三個月會出現更多「同一模型、不同 Agent harness」的對照測試。團隊選擇模型時,也會像選擇推理引擎一樣,固定 runtime、工具 schema 與資源預算。差別在於,過去的排行榜預設測試協議維持穩定,現在這個預設正逐漸失效。
GVS5H 可能成為 27B 模型 Agent 評測的候選基線,但目前資訊仍不足以確認這 5 個模型是否真正達到 Fable 5 的原始成績。下一步應先稽核程式碼,再以固定版本進行多輪重現,而不是繼續放大「追平」這個說法。