Memdoor 讓 5 個 Qwen3.8-27B 組成協作團隊,在 LiveCodeBench Hard 的成績超越 Fable 5。它將解題拆成分工、共享記憶與結果修訂,值得工程團隊實作驗證。
5 個 Qwen 協作解題:AI Agent 團隊化實戰
先看結果:5 個模型勝過 1 個更強的模型
Memdoor 的 team-solve 工作流使用 5 個 Qwen3.8-27B 模型。
它們不是各自解題後再投票。任務狀態、求解過程與中間結果都會保留,再交由不同成員分工處理。
根據專案發布訊息,這套工作流在 LiveCodeBench Hard 上的成績超過 Fable 5。
最容易被誤解的是,這個成績來自 5 個模型的協作,而非某個模型的單次作答。模型名稱仍是 Qwen3.8-27B,但實際的解題單位已是一個 Agent 團隊。
這項成果值得關注,不是因為「五打一」天生就更強,而是它改變了關鍵變數:不再假設一次推理必須容納所有上下文,而是讓多個 Agent 分階段保存、傳遞並修訂狀態。
原始資料還提到,這則訊息曾登上 Hacker News 首頁。當時頁面累積 74 分與 38 則留言。
程式碼公開:不只是論文分數,而是可驗證的工作流
Memdoor 已在 GitHub 公開 team-solve 範例及對應程式碼:
- GitHub:https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve
- 相關 Hacker News 討論頁面可從該儲存庫與發布訊息繼續追溯。
這比一張 benchmark 截圖更有價值。
論文中的 Agent 常有一個問題:角色定義很清楚,但狀態如何傳遞、誰能看到誰的輸出、失敗後是否重試,全被留在實作細節裡。
team-solve 將編排方式放進儲存庫。讀者可以檢查 5 個角色如何建立、任務如何拆解、記憶如何寫入,以及最終答案如何彙整。
依照儲存庫的範例說明,協作求解涵蓋角色分工、共享記憶與工作流編排。它不是把 5 段相同的 Prompt 丟給模型,再進行多數決。
真正值得復現的是這條執行路徑:
任務輸入
→ 角色分工
→ 獨立分析與共享記憶
→ 中間結果寫回
→ 衝突檢查與修訂
→ 最終答案
儲存庫公開後,還可以進一步核對 Qwen3.8-27B 的呼叫方式、模型服務設定、取樣參數,以及 LiveCodeBench Hard 的評測腳本。
反直覺觀點:Agent 的瓶頸可能是上下文
在這個案例中,最值得拆解的變數不是模型數量,而是上下文管理。
單一模型處理複雜程式設計題時,通常要整理題目、相關檔案、歷史推理與錯誤日誌。上下文越長,注意力分配越困難。即使模型參數更多,也可能遺漏早期約束,或被一段錯誤分析帶偏。
團隊化工作流提供了另一種做法:
- 一個 Agent 負責理解問題與約束。
- 一個 Agent 探索可行方案。
- 一個 Agent 檢查程式碼與邊界條件。
- 另一個 Agent 依據回饋進行修訂。
- 彙整角色決定最終輸出。
具體角色仍以儲存庫實作為準。重點在於,它們不必同時讀取同一份完整歷史。
Memdoor 這個名稱也點出設計重點:memory。團隊成員透過共享任務狀態與記憶取得前序資訊。
這種做法也有代價。資訊壓縮可能遺失細節,錯誤摘要則可能製造「假共識」。
但它改變了失敗方式。
單一模型的失敗,可能是整條推理鏈一起跑偏;團隊化 Agent 則能把錯誤隔離到某個角色,讓其他成員依據明確紀錄繼續工作。
因此,不能斷言「Agent 的瓶頸不在智力,而在上下文」。更準確地說:在長鏈式任務中,上下文組織方式可能比持續擴大單一模型更值得最佳化。
工程代價:並行、延遲與錯誤傳播
5 個模型協作,不會天然等同於 5 倍成本,也不會天然只花單一模型 5 倍的 Token。
如果角色能夠並行,實際經過時間可能低於序列執行;如果存在審查與修訂鏈,成本就會明顯上升。實際費用取決於每個角色讀取多少上下文、寫入多少記憶,以及重試幾輪。
以下 4 個問題值得特別檢查。
1. 並行帶來的效益
5 個 Agent 若同時啟動,適合探索不同方案。
但如果所有成員都要等待前一位成員寫回記憶後才能繼續,並行優勢就會消失。檢視公開程式碼時,重點應放在任務依賴圖,而非角色數量。
2. Token 預算
每個 Agent 都帶著共享上下文,重複讀取會放大輸入 Token。
更有效率的做法是為不同角色提供不同視圖。例如除錯角色取得程式碼與錯誤日誌,審查角色取得修補內容與測試結果,而不是讓每個人都讀取完整對話。
3. 結果衝突
當兩名 Agent 給出不同判斷時,系統不能單純採用最後一份輸出。
必須訂定明確的衝突處理規則:依測試結果裁決、由固定角色複核,或允許進行多輪討論。討論輪數增加,也會繼續拉高延遲。
4. 錯誤傳播
這是協作系統最容易被忽略的風險。
錯誤摘要一旦寫入共享記憶,其他成員可能將它視為事實;錯誤程式碼也可能被後續 Agent 當成前提繼續修補。
因此,記憶寫入不能只有 append。至少需要來源標記、狀態欄位與回滾機制。實用的資料結構可以類似這樣:
{
"artifact": "candidate_fix.py",
"source_agent": "debugger",
"status": "needs_review",
"evidence": ["pytest: 18 passed, 2 failed"],
"version": 2
}
這不是 Memdoor 儲存庫中的現成程式碼,而是用來說明工程邊界所需的最小欄位。實際實作仍應以儲存庫內容為準。
對生產系統而言,團隊化也不一定比單一 Agent 更穩定。它會增加排程、監控與歸因成本。只有當任務能清楚分工、結果可以驗證,且記憶能可靠傳遞時,多 Agent 才真正具有意義。
編輯觀察
這項成果的重要性,不在於「5 個 Qwen 擊敗一個更強模型」。單次 benchmark 無法證明 Agent 團隊普遍優於單一模型;測試集難度、題目分布、取樣參數與評審方式,都可能改變排名。Fable 5 的具體身分與完整評測設定,也需要從儲存庫、發布頁面與排行榜進一步核實。
不過,公開程式碼提供了更明確的訊號:Agent 系統的最佳化重點,正從「換成更大的模型」轉向「設計更好的協作結構」。這次與過去不同的地方,在於角色、記憶與編排至少已落實成可檢查的程式碼,而不只是出現在示範影片中。
下一批值得關注的專案,預計會把精力投入狀態傳遞、衝突裁決與失敗復原。團隊化的價值未必來自更多模型,而是能否將一次脆弱的長推理拆成多個可驗證、可回滾的小步驟。不過,若評測設定或任務拆解無法重現,這項結論仍須保留。
來源
https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve