ツール

GVS5Hで検証:5つのQwen3.8-27BがFable 5に追いつく

Hacker Newsで話題になったGVS5H harnessの実験では、5つのQwen3.8-27BがFable 5相当の成績を報告している。テスト条件とharnessの影響を精査し、再現可能な比較方法を提示する。

文字サイズ

まず結論。モデル交換は保留に

Hacker Newsに、一本の反面深海.panel_Hacker Newsoufl discussions。就在这里。Hacker News上の議論には、拆分を検討する価値がある。プロジェクトは99点と26件のコメントを発表し、front pageにも掲載された。焦点は新しいモデルのリリースではなく、同じQwen3.8-27Bモデル群にGVS5H harnessを接続したところ、Fable 5水準に達したという結果だった。

「27Bモデルがより大きな相手を倒した」と結論づけるのは早い。テスト条件が示されていないからだ。

モデルの名称や規模は結果の一要素にすぎない。もう一つの重要な変数がGVS5Hである。タスクをどう提示し、ツールをどう接続し、失敗時にどう再試行し、出力をどう検証するか。Agentにとっては、これらの条件がパラメータ数よりも最終スコアに直接影響する可能性がある。

プロジェクトのコードはGitHubにある。

https://github.com/slee-persis/GVS5H

ニュース要約では、GVS5Hはモデルのツール呼び出し、Agent実行voyager,或者それに関連する能力を評価するGitHub上のテストフレームワークとされている。したがって、今回の比較は単純な「モデル名対モデル名」ではなく、「具体的なモデル規模 + Fable 5 + GVS5Hテストツール」で構成された結果でもある。

まず確認すべきは、モデルではなくharnessである。

GVS5Hは何を測定しているのか

「追いついた」という主張に意味があるかを判断するには、READMEにある最終スコアだけでは不十分だ。少なくとも次の3点を確認する必要がある。

  1. タスクが同じ固定集合から提供されているか。
  2. すべてのモデルに同じsystem promptが渡されているか。
  3. ツール呼び出しで同じschemaとエラー返却形式が使われているか。

Agentの評価では、promptがひと文変わるだけで、モデルの挙動は「ツールを安定して呼び出す」から「自身の説明を繰り返し行う」まで変わり得る。ツール説明の引数名を変更しただけで、成功率が10ポイント以上変動することも珍しくない。

GVS5Hの価値は、モデル名ではなく実行プロトコルにある。ニュース要約でも位置づけは明確で、ツール呼び出しやAgent実行能力を評価するテストフレームワークとされている。テストフレームワークはタスクの編成、モデル呼び出し、ツール接続を担当し、実行結果に基づいて採点する。

再現experiment_selectionsampledでは、まず次の4種類のファイルを確認する。

  • タスク定義:入力、目標、合格条件。
  • Promptテンプレート:モデル固有の分岐が含まれているか。
  • Tool schema:引数、戻り値、エラー時の意味論。
  • Scorer:最終スコアがどう計算され、後処理が許されているか。

その後、各実行のraw traceを記録する。少なくとも次を保存する。

  • モデルの完全なバージョンまたはweight hash
  • API endpointとprovider
  • temperature、top_p、max_tokens
  • 各ターンのツール呼び出しと戻り値
  • 再試行回数とtimeout設定
  • 最終scorerの出力

これらがなければ、ランキングは「ある実行で何点だったか」を示すにすぎず、モデルそのものの能力を説明できない。

5モデルが同点でも、基盤モデルが同一とは限らない

なぜ5つの27B級モデルが、同じツールと検証手順のもとで近い結果に収束する可能性があるのか。harnessがモデル間の差を縮めるためである。

1つ目はタスク構造だ。多くのAgentタスクは、最終的に「状態を読み取り、ツールを選び、正しい引数を渡し、結果を確認し、続行または終了」という流れに归结く。tool schemaが十分に明確なら、異なる基盤モデルもより同じ解法を取るようになる。

2つ目はフィードバックループだ。最初の呼び出しが失敗すると、ツールから返されるエラー情報は実質的なオンラインpromptになる。不足している引数、誤ったパス、条件を満たさない結果などを指摘する。強いモデルはフィードバックを有効に使い、弱いモデルもそれによって修正される可能性がある。

3つ目は後処理だ。フレームワークがJSONの修復、ツール結果の並べ替え、無効な呼び出しの除外を行うなら、最終的に測られるのは裸のモデルではなく、「モデル + harness + repairer」の組み合わせになる。

したがって、5モデルが近いスコアを得ても、推論能力が同質であることを意味しない。固定プロトコルが実行経路の分散を抑え、複数のモデルを近い到達点へ導いた可能性が高い。

ここでは見落としやすい問題も確認すべきだ。5モデルが同じPromptテンプレートを共有しているか。特定モデル向けのtool routing、token制限、再試行ルールが存在するか。これらがあれば、最終スコアを直接、モデル間の横比較として扱うことはできない。

Fable 5との比較をどう再現するか

現時点で確認できるのは、プロジェクトが「5つのQwen3.8-27BモデルにGVS5H harnessを接続し、Fable 5水準に達した」と主張している点だ。この主張を検証するには、ランキングのスクリーンショットを撮るのではなく、同じ条件での対照実験が必要である。

次の3グループに分けるのが Barak experimentally。

Aグループ:harness固定、モデル変更

タスク、Prompt、tool schema、scorer、リソース制限をすべて維持し、モデルだけを差し替える。モデルの順位を検証する最もクリーンな構成である。

Bグループ:モデル固定、harness変更

同じQwen3.8-27Bを、GVS5Hと別のAgentフレームワークでそれぞれ実行する。プロトコルがどれだけの寄与をしているかを把握できる。

Cグループ:モデルとharness固定、変数を1つだけ変更

temperature、再試行回数、コンテキスト長、ツール説明、並行制限を1項目ずつ変える。複数の設定を同時に変更するより、結果の解釈が容易になる。

各条件では最低3回実行し、平均値とばらつきの範囲を報告する。Agentタスクにはランダム性があるため、1回の成功を能力差と誤読しやすい。リポジトリが公式の実行コマンドを提供している場合は、READMEに従って依存関係とバージョンを固定し、環境を先に変更しないことを優先する。

git clone https://github.com/slee-persis/GVS5H.git
cd GVS5H

具体的なコマンドの最終情報源はリポジトリのREADMEである。依存関係やエントリーポイントはコミットによって変わる可能性があり、一般的なPython Agentプロジェクト是基于 experience 推測したインストール・実行手順を使ってはいけない。

ログは機械可読形式で保存することを強く推奨する。例えば、各ターンのイベントを共通形式で記録する。

{
  "run_id": "example-run",
  "model": "replace-with-exact-model-version",
  "task_id": "replace-with-task-id",
  "attempt": 1,
  "tool": "replace-with-tool-name",
  "arguments": {},
  "passed": false,
  "score": null,
  "error": null
}

これはログ形式の例であり、リポジトリ公式のscoring programではない。raw traceを追跡・再計算できるようにするための形式である。最終ログは、harnessが生成したraw traceから直接変換し、スコアを手書きで転記してはならない。

ランキング之外で、harnessは新たな変数になっている

熱く議論されている内容とは逆かもしれないが、Agentランキングの順位は、裸のモデル能力よりもテストプロトコルを increasingly 反映している。

理由はGspecial mechanically 複雑ではない。

従来のLLM評価は、単一ターンの入力と固定解を中心に構成されることが多い。Agent評価には、状態、ツール、フィードバック、再試行が含まれる。モデルがツールを呼び出すかどうかが、「タスクを理解しているか」よりも、インターフェースが明確か、エラー情報が実行可能か、再試行がコストなしかで決まる場合がある。

harnessはコンパイラやruntimeのように機能する。

同じモデルを異なるruntimeに置けば、レイテンシ、利用可能なツール、エラー処理、コンテキストtrimmingは変わる。LangGraph型の明示的な状態グラフはフローを制限できる。ReAct型のループはモデルにより多くの自律性を与える。MCP型のツール接続は呼び出せる対象の範囲を広げる。フレームワークの違いは包装ではなく、システム挙動の一部なのである。

したがって、今後より価値のある公開データは、「モデル × スコア」の表ではなく、次の組み合わせになる可能性がある。

model × harness × tool schema × prompt version × budget

これらの次元が揃って初めて、順位を他 环境へ移行できる。

より実用的な提案として、モデル選定とharness選定を分離することがある。モデルbaselineは「基盤モデルが推論できるか」に、harness baselineは「タスクが適切に実行されているか」に答える。両者を一度の比較に混ぜると、勝っても、Promptを調整すべきか、モデルを替えるべきか、ツールインターフェースを変更すべきかは分からない。

編集者の視点

この結果で重要なのは、「5つのQwen3.8-27Bが本当にFable 5进行全面的に追いついた」ことではない。Agent評価がharnessへの依存onnet今日は高くなっていることが明らかになった点である。モデル規模、比較対象、テストツールはいずれも欠くことができず、どれか1つが変われば順位は書き換わる。今後は、「同じモデルでもAgent harnessが異なる」対照実験がさらに増える predicts。チームがモデルを選ぶ際にも、推論エンジンを選ぶようにruntime、tool schema、budgetを固定するようになるだろう。過去、ランキングはテストプロトコルが安定していると暗黙に想定していたが、その前提が崩れ始めている。GVS5Hは27BモデルのAgent評価における候補baselineになる可能性があるが、現時点では5モデルが本当にFable 5のraw scoreに到達したかを確認する情報にはまだ不足している。次の一手は、コードを監査し、fix バージョンで複数回再現実験を行い、「追いついた」という表現更大,而不是继续放大“追平”这个词。

出典: https://github.com/slee-persis/GVS5H