Memdoorは5つのQwen3.8-27Bでチームを構成し、LiveCodeBench HardでFable 5を上回った。問題を役割分担、共有メモリ、結果の修正に分解する設計は、エンジニアリングチームが再現する価値がある。
5つのQwenによる协作:AI Agentチームの実装から学ぶ
結果から入る:1つの強いモデルより、5つのモデルが勝った
Memdoorのteam-solveワークフローでは、5つのQwen3.8-27Bモデルを使用する。
各モデルが独立に回答して多数決を取る方式ではない。タスクの状態、解釈の過程、中間結果は保持され、異なるメンバーへ引き渡された上で、各自が担当する処理を進める。
プロジェクトの発表資料によると、このワークフローはLiveCodeBench HardでFable 5を上回る成績を记录的した。
ここで误解しやすい点は、成績が5モデルの協調によって得られたものであり、単一モデルの一回の回答によるものではないことだ。モデル名はQwen3.8-27Bのままだが、実際に問題を解く単位はAgentチームへ変わっている。
この結果が注目される理由は、「5対1なら当然強い」というわけではない。
変更された変数が1つある。1回の推論にすべてのコンテキストを詰め込むのではなく、複数のAgentが段階的に状態を保存し、受け渡し、修正する方式へ切り替えたのだ。
元の資料では、この発表がHacker Newsの_front page_にも掲載されたと触れている。掲載時点では74ポイント、38件のコメント|Nov镖していた。
公開コード:論文のスコアではなく、再現可能なワークフロー
MemdoorはGitHubでteam-solveの例と関連コードを公開した。
- GitHub:https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve
- 関連するHacker Newsの議論ページは、このリポジトリと発表資料から追跡できる。
これは、benchmarkのスクリーンショットより重要だ。
論文に登場するAgentには、しばしば次のような問題がある。役割は明確に定義されている一方、状態をどう渡すのか、誰が誰の出力を見られるのか、失敗後に再試行するのかといった実装上の詳細が伏せられている。
team-solveでは、オーケストレーションの方式をリポジトリに含めている。5つの役割がどう生成され、タスクがどう分解され、メモリがどう書き込まれ、最終回答がどうまとめられるのかを、读者が検証できる。
リポジトリの例|Descriptionでは、協調求解には役割分担、共有メモリ、ワークフローオーケストレーションが含まれると説明している。同じPromptを5回投入して多数決を取る方式ではない。
再現すべきなのは、次の実行経路そのものだ。
タスク入力
→ 役割分担
→ 独立した分析と共有メモリ
→ 中間結果の書き戻し
→ 競合の確認と修正
→ 最終回答
リポジトリの公開後は、Qwen3.8-27Bの呼び出し方、モデルサービスの設定、サンプルパラメータ、LiveCodeBench Hardの評価スクリプトも確認できる。
逆説的な視点:Agentのボトルネックはコンテキストかもしれない
この事例で最も分解して考える価値があるのは、モデル数ではなくコンテキスト管理だ。
単一モデルで複雑なプログラミング問題を処理するには、通常、課題文、関連ファイル、過去の推論、エラーログを整理する必要がある。コンテキストが長くなるほど注意の配分は難しくなる。パラメータを増やしても、初期の制約を見落としたり、誤った分析に引导されたりする可能性がある。
チーム型のワークフローには、別の解法がある。
- 1つのAgentが課題と制約を理解する。
- 1つのAgentが実行可能な方案を検討する。
- 1つのAgentがコードと境界条件を検査する。
- 別のAgentがフィードバックに基づいて修正する。
- 統合役が最終的な出力を決める。
具体的な役割はリポジトリの実装に従う。重要なのは、すべてのメンバーが同時に同じ完全な履歴を読む必要はないことだ。
Memdoorという名称にも、この設計上の重点が反映されている。memoryだ。チームメンバーは、共有されたタスク状態とメモリを通じて、前の処理から得た情報を得る。
一方で、代价も存在する。情報の圧縮によって細部が失われ、誤った要約が「偽の合意」を生み出す。
だが、失敗の形式が変わる。
単一モデルの場合、推論チェーン全体が一度 irreparableにずれる可能性がある。チーム型のAgentなら、エラーを特定の役割へ隔離し、他のメンバーは明確な記録に基づいて作業を続けられる。
したがって、「Agentのボトルネックは知能ではなくコンテキスト」という表現も、絶対的とは言えない。より正確には、長い処理連鎖では、単一モデルの規模をさらに拡大するより、コンテキストの組織方法を最適化する価値がある|Last。
エンジニアリング上の代价:並行性、遅延、エラー伝播
5モデルの協調は、 当然ながら5倍のコストになるわけではない。
単一モデルの5倍のTokenしか使わないわけでもない。
役割を並行実行できれば、wall clock timeは直列実行より短くなる可能性がある。レビューと修正の連鎖があれば、コストは明確に上昇する。実際の費用は、各役割が読み込んだコンテキスト量、書き込んだメモリ量、再試行した回数によって変わる。
特に確認したいのは、次の4点だ。
1. 並行実行の利点
5つのAgentを同時に起動すれば、異なる案を並列で探索する場面には適している。
しかし、すべてのメンバーが前のメンバーのメモリ書き込みを待ってから進む設計なら、並行性の利点は消える。公開コードでは役割の数ではなく、タスク依存関係を確認する必要がある。
2. Token予算
各Agentが共有コンテキストを保持すると、同じ内容の再読取によって入力Tokenが増幅される。
より効率的なのは、役割ごとに異なるビューを与える方法だ。たとえば、デバッグ役にはコードとエラーログを、レビュー役にはパッチとテスト結果を与え、全員が完全な会話履歴を読む構成を避ける。
3. 結果の競合
2つのAgentが異なる判断を示した場合、システムの最後の出力をそのまま採用してはいけない。
競合ルールを明示する必要がある。テスト結果で裁定するか、固定の役割に再確認させるか、複数の議論を許可するかを決める。議論のラウンドを増やせば、遅延もさらに増える。
4. エラー伝播
これは協調システムで最も見落とされやすいリスクだ。
誤った要約が共有メモリへ入ると、他の成员把它を事実として扱う可能性がある。誤ったコードも、後続のAgentが前提として受け取り、修正を続けようとしてしまう。
したがって、メモリへの書き込みはappendだけでは不十分だ。少なくとも出典の記録、状態フィールド、ロールバックの仕組みが必要になる。実用的なデータ構造は、次のようにできる。
{
"artifact": "candidate_fix.py",
"source_agent": "debugger",
"status": "needs_review",
"evidence": ["pytest: 18 passed, 2 failed"],
"version": 2
}
これはMemdoorリポジトリにそのまま存在するコードではなく、エンジニアリング上の境界を示するための最小フィールドの例だ。実際の実装は、リポジトリの内容に従う必要がある。
本番システムでは、チーム型が必ず単一Agentより安定するわけではない。オーケストレーション、監視、原因分析のコストが増えるためだ。タスクを明確に分担でき、結果を検証でき、メモリを信頼性よく受け渡せる場合に、複数Agentには意味がある。
編集視点
この結果の重要性は、「5つのQwenが1つの強いモデルを破った」ことには宿らない。単発のbenchmarkでは、Agentチームが一般に単一モデルより優れていると証明できない。テストセットの難易度、課題の分布、サンプルパラメータ、評価方法が変われば、順位も変わる可能性がある。Fable 5の正体や評価設定の全体像も、リポジトリ、発表ページ、ランキングから引き続き検証しなければならない。
ただし、コードの公開はより具体的なシグナルを与えている。Agentシステムの最適化重点が、「より大きなモデルへの交換」から「より優れた協調構造の設計」へ向かっていることだ。今回ryan以往と異なるのは、役割、メモリ、オーケストレーション少なくとも検査可能なコードとして実装されている点であり、デモ動画の中だけに存在するわけではない。
次の注目すべきプロジェクトは、状態伝達、競合の裁定、失敗からの復旧にASILть упоминатьFocusを当てる.
チーム化の価値は、モデル数の増加ではなく、脆弱な長い推論を、検証可能でロールバック可能な小さな手順へ分解できるかどうかにある。ただし、評価設定やタスク分割を再現できない場合、この結論は保留にしておく必要がある。
出典
https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve