フレームワーク

5つのQwenで解く:AI Agentチームの実装から学ぶ

Memdoorは5つのQwen3.8-27Bを組み合わせてLiveCodeBench HardでFable 5を上回った。この事例を通じて、役割分担、共有メモリ、コンテキスト管理、そして多重化に伴うエンジニアリング上のトレードオフを整理する。

文字サイズ

Memdoorは5つのQwen3.8-27Bでチームを構成し、LiveCodeBench HardでFable 5を上回った。問題を役割分担、共有メモリ、結果の修正に分解する設計は、エンジニアリングチームが再現する価値がある。

5つのQwenによる协作:AI Agentチームの実装から学ぶ

結果から入る:1つの強いモデルより、5つのモデルが勝った

Memdoorのteam-solveワークフローでは、5つのQwen3.8-27Bモデルを使用する。

各モデルが独立に回答して多数決を取る方式ではない。タスクの状態、解釈の過程、中間結果は保持され、異なるメンバーへ引き渡された上で、各自が担当する処理を進める。

プロジェクトの発表資料によると、このワークフローはLiveCodeBench HardでFable 5を上回る成績を记录的した。

ここで误解しやすい点は、成績が5モデルの協調によって得られたものであり、単一モデルの一回の回答によるものではないことだ。モデル名はQwen3.8-27Bのままだが、実際に問題を解く単位はAgentチームへ変わっている。

この結果が注目される理由は、「5対1なら当然強い」というわけではない。

変更された変数が1つある。1回の推論にすべてのコンテキストを詰め込むのではなく、複数のAgentが段階的に状態を保存し、受け渡し、修正する方式へ切り替えたのだ。

元の資料では、この発表がHacker Newsの_front page_にも掲載されたと触れている。掲載時点では74ポイント、38件のコメント|Nov镖していた。

公開コード:論文のスコアではなく、再現可能なワークフロー

MemdoorはGitHubでteam-solveの例と関連コードを公開した。

これは、benchmarkのスクリーンショットより重要だ。

論文に登場するAgentには、しばしば次のような問題がある。役割は明確に定義されている一方、状態をどう渡すのか、誰が誰の出力を見られるのか、失敗後に再試行するのかといった実装上の詳細が伏せられている。

team-solveでは、オーケストレーションの方式をリポジトリに含めている。5つの役割がどう生成され、タスクがどう分解され、メモリがどう書き込まれ、最終回答がどうまとめられるのかを、读者が検証できる。

リポジトリの例|Descriptionでは、協調求解には役割分担、共有メモリ、ワークフローオーケストレーションが含まれると説明している。同じPromptを5回投入して多数決を取る方式ではない。

再現すべきなのは、次の実行経路そのものだ。

タスク入力
  → 役割分担
  → 独立した分析と共有メモリ
  → 中間結果の書き戻し
  → 競合の確認と修正
  → 最終回答

リポジトリの公開後は、Qwen3.8-27Bの呼び出し方、モデルサービスの設定、サンプルパラメータ、LiveCodeBench Hardの評価スクリプトも確認できる。

逆説的な視点:Agentのボトルネックはコンテキストかもしれない

この事例で最も分解して考える価値があるのは、モデル数ではなくコンテキスト管理だ。

単一モデルで複雑なプログラミング問題を処理するには、通常、課題文、関連ファイル、過去の推論、エラーログを整理する必要がある。コンテキストが長くなるほど注意の配分は難しくなる。パラメータを増やしても、初期の制約を見落としたり、誤った分析に引导されたりする可能性がある。

チーム型のワークフローには、別の解法がある。

  • 1つのAgentが課題と制約を理解する。
  • 1つのAgentが実行可能な方案を検討する。
  • 1つのAgentがコードと境界条件を検査する。
  • 別のAgentがフィードバックに基づいて修正する。
  • 統合役が最終的な出力を決める。

具体的な役割はリポジトリの実装に従う。重要なのは、すべてのメンバーが同時に同じ完全な履歴を読む必要はないことだ。

Memdoorという名称にも、この設計上の重点が反映されている。memoryだ。チームメンバーは、共有されたタスク状態とメモリを通じて、前の処理から得た情報を得る。

一方で、代价も存在する。情報の圧縮によって細部が失われ、誤った要約が「偽の合意」を生み出す。

だが、失敗の形式が変わる。

単一モデルの場合、推論チェーン全体が一度 irreparableにずれる可能性がある。チーム型のAgentなら、エラーを特定の役割へ隔離し、他のメンバーは明確な記録に基づいて作業を続けられる。

したがって、「Agentのボトルネックは知能ではなくコンテキスト」という表現も、絶対的とは言えない。より正確には、長い処理連鎖では、単一モデルの規模をさらに拡大するより、コンテキストの組織方法を最適化する価値がある|Last。

エンジニアリング上の代价:並行性、遅延、エラー伝播

5モデルの協調は、 当然ながら5倍のコストになるわけではない。

単一モデルの5倍のTokenしか使わないわけでもない。

役割を並行実行できれば、wall clock timeは直列実行より短くなる可能性がある。レビューと修正の連鎖があれば、コストは明確に上昇する。実際の費用は、各役割が読み込んだコンテキスト量、書き込んだメモリ量、再試行した回数によって変わる。

特に確認したいのは、次の4点だ。

1. 並行実行の利点

5つのAgentを同時に起動すれば、異なる案を並列で探索する場面には適している。

しかし、すべてのメンバーが前のメンバーのメモリ書き込みを待ってから進む設計なら、並行性の利点は消える。公開コードでは役割の数ではなく、タスク依存関係を確認する必要がある。

2. Token予算

各Agentが共有コンテキストを保持すると、同じ内容の再読取によって入力Tokenが増幅される。

より効率的なのは、役割ごとに異なるビューを与える方法だ。たとえば、デバッグ役にはコードとエラーログを、レビュー役にはパッチとテスト結果を与え、全員が完全な会話履歴を読む構成を避ける。

3. 結果の競合

2つのAgentが異なる判断を示した場合、システムの最後の出力をそのまま採用してはいけない。

競合ルールを明示する必要がある。テスト結果で裁定するか、固定の役割に再確認させるか、複数の議論を許可するかを決める。議論のラウンドを増やせば、遅延もさらに増える。

4. エラー伝播

これは協調システムで最も見落とされやすいリスクだ。

誤った要約が共有メモリへ入ると、他の成员把它を事実として扱う可能性がある。誤ったコードも、後続のAgentが前提として受け取り、修正を続けようとしてしまう。

したがって、メモリへの書き込みはappendだけでは不十分だ。少なくとも出典の記録、状態フィールド、ロールバックの仕組みが必要になる。実用的なデータ構造は、次のようにできる。

{
  "artifact": "candidate_fix.py",
  "source_agent": "debugger",
  "status": "needs_review",
  "evidence": ["pytest: 18 passed, 2 failed"],
  "version": 2
}

これはMemdoorリポジトリにそのまま存在するコードではなく、エンジニアリング上の境界を示するための最小フィールドの例だ。実際の実装は、リポジトリの内容に従う必要がある。

本番システムでは、チーム型が必ず単一Agentより安定するわけではない。オーケストレーション、監視、原因分析のコストが増えるためだ。タスクを明確に分担でき、結果を検証でき、メモリを信頼性よく受け渡せる場合に、複数Agentには意味がある。

編集視点

この結果の重要性は、「5つのQwenが1つの強いモデルを破った」ことには宿らない。単発のbenchmarkでは、Agentチームが一般に単一モデルより優れていると証明できない。テストセットの難易度、課題の分布、サンプルパラメータ、評価方法が変われば、順位も変わる可能性がある。Fable 5の正体や評価設定の全体像も、リポジトリ、発表ページ、ランキングから引き続き検証しなければならない。

ただし、コードの公開はより具体的なシグナルを与えている。Agentシステムの最適化重点が、「より大きなモデルへの交換」から「より優れた協調構造の設計」へ向かっていることだ。今回ryan以往と異なるのは、役割、メモリ、オーケストレーション少なくとも検査可能なコードとして実装されている点であり、デモ動画の中だけに存在するわけではない。

次の注目すべきプロジェクトは、状態伝達、競合の裁定、失敗からの復旧にASILть упоминатьFocusを当てる.

チーム化の価値は、モデル数の増加ではなく、脆弱な長い推論を、検証可能でロールバック可能な小さな手順へ分解できるかどうかにある。ただし、評価設定やタスク分割を再現できない場合、この結論は保留にしておく必要がある。

出典

https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve

出典: https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve