Memdoor는 5개의 Qwen3.8-27B 모델로 협업 팀을 구성해 LiveCodeBench Hard에서 Fable 5를 넘어섰다. 문제를 역할 분담, 공유 메모리, 결과 수정으로 나누는 방식은 엔지니어링 팀이 직접 재현해 볼 만하다.
Qwen 5개가 함께 풀다: AI Agent 팀 협업 실전
결과부터 말하면: 모델 5개가 더 강한 모델 1개를 이겼다
Memdoor의 team-solve 워크플로는 5개의 Qwen3.8-27B 모델을 사용한다.
각 모델이 독립적으로 문제를 풀고 투표하는 방식은 아니다. 작업 상태, 풀이 과정, 중간 결과가 유지되며, 이후 서로 다른 팀원이 이를 받아 나눠 처리한다.
프로젝트 발표 자료에 따르면 이 워크플로는 LiveCodeBench Hard에서 Fable 5를 넘긴的成绩을 기록했다.
가장 쉽게 오해할 부분은 여기 있다. 이 성적은 5개 모델의 협업에서 나왔으며, 특정 모델이 단독으로 낸 결과가 아니다. 모델명은 여전히 Qwen3.8-27B지만, 실제 문제 해결의 단위는 하나의 Agent 팀으로 바뀌었다.
值得关注할 이유는 ‘5개가 1개보다 당연히 강하다’는 사실이 아니다.
이 방식은 변수를 하나 바꾼다. 한 번의 추론에 모든 컨텍스트를 담아야 한다는 가정을 접고, 여러 Agent가 상태를 단계별로 저장하고 전달하며 수정하게 한다.
원문 자료에는 이 발표가 Hacker News 메인 페이지에 올랐다는 내용도 있다. 당시 페이지에는 74점과 38개의 댓글이 달려 있었다.
코드가 공개됐다: 논문 점수가 아니라 검증 가능한 워크플로
Memdoor는 GitHub에서 team-solve 예제와 관련 코드를 공개했다.
- GitHub: https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve
- 관련 Hacker News 토론 페이지는 해당 저장소와 발표 자료에서 계속 확인할 수 있다.
이 사실은 benchmark 스크린샷 한 장보다 중요하다.
논문에서 소개되는 Agent에는 종종 다음과 같은 문제가 있다. 역할 정의는 명확하지만, 상태를 어떻게 전달하고 누가谁的 출력을 볼 수 있으며 실패 후에는 재시도할지가 모두 구현 세부사항에 맡겨진다.
team-solve는 오케스트레이션 방식을 저장소에 담았다. 읽는 사람은 5개 역할이 어떻게 생성되고, 작업이 어떻게 분해되며, 메모리가 어떻게 기록되고, 최종 답변이 어떻게 집계되는지 확인할 수 있다.
저장소의 예제 설명에 따르면 협업 풀이에는 역할 분담, 공유 메모리, 워크플로 오케스트레이션이 포함된다. 동일한 Prompt 5개를 모델에 던진 뒤 다수결로 답을 고르는 방식이 아니다.
재현할 가치가 있는 것은 다음과 같은 실제 실행 경로다.
작업 입력
→ 역할 분담
→ 독립 분석과 공유 메모리
→ 중간 결과 기록
→ 충돌 검사 및 수정
→ 최종 답변
저장소가 공개된 뒤에는 Qwen3.8-27B 호출 방식, 모델 서비스 설정, 샘플링 파라미터, LiveCodeBench Hard 평가 스크립트도 확인할 수 있다.
반통념 포인트: Agent의 병목은 컨텍스트일 수 있다
이 사례에서 가장 따로 살펴볼 변수는 모델 수가 아니다.
컨텍스트 관리다.
단일 모델이 복잡한 프로그래밍 문제를 처리할 때는 보통 문제 설명, 관련 파일, 이전 추론, 오류 로그를 함께 정리해야 한다. 컨텍스트가 길어질수록 Attention을 배분하기 어려워진다. 파라미터가 더 많은 모델도 앞부분의 제약을 놓치거나 잘못된 분석에 끌려갈 수 있다.
팀 기반 워크플로는 다른 접근을 제공한다.
- 한 Agent는 문제와 제약을 이해한다.
- 한 Agent는 실행 가능한 방법을 탐색한다.
- 한 Agent는 코드와 경계 조건을 검사한다.
- 다른 Agent는 피드백을 바탕으로 결과를 수정한다.
- 집계 역할이 최종 출력을 결정한다.
구체적인 역할은 저장소 구현을 기준으로 확인해야 한다. 중요한 점은 모든 Agent가 동일한 전체 이력을 동시에 읽을 필요가 없다는 것이다.
Memdoor라는 이름에서도 이 설계의 핵심인 memory를 확인할 수 있다. 팀원은 공유 작업 상태와 메모리를 통해 앞서 진행한 정보를 얻는다.
이 방식에는 비용이 따른다. 정보를 압축하면 세부 내용이 사라지고, 잘못된 요약은 ‘허위,使之无法验证的共识’을 만들어 낼 수 있다.
하지만 실패 방식 자체가 바뀐다.
단일 모델은 전체 추론 체인이 한꺼번에 잘못된 방향으로 흐를 수 있다. 팀 기반 Agent는 오류를 특정 역할에 격리하고, 다른 팀원이 명확히 기록된 상태를 바탕으로 계속 작업할 수 있다.
따라서 ‘Agent의 병목은 지능이 아니라 컨텍스트’라는 말도 절대적으로는 옳지 않다. 더 정확한 표현은 이렇다. 긴 작업 체인에서는 단일 모델을 더 키우는 것보다 컨텍스트를 구성하고 전달하는 방식을 최적화할 가능성이 더 크다.
엔지니어링 비용: 동시 실행, 지연 시간, 오류 전파
모델 5개가 협업한다고 해서 비용이 당연히 5배가 되지는 않는다.
단일 모델을 쓸 때보다 정확히 5배의 Token만 소비하는 것도 아니다.
역할을 병렬로 실행할 수 있다면 실제 완료 시간은 직렬 실행보다 짧아질 수 있다. 반대로 검토와 수정 체인이 있으면 비용은 눈에 띄게 증가한다. 실제 비용은 각 역할이 어떤 컨텍스트를 읽고, 몇 개의 메모리를 작성하며, 몇 차례 재시도했는지에 따라 달라진다.
다음 네 가지 항목을 중점적으로 확인할 필요가 있다.
1. 동시 실행의 이점
5개 Agent를 동시에 시작하면 서로 다른 방법을 탐색하는 데 적합하다.
하지만 모든 팀원이 앞선 팀원의 메모리 기록을 기다린 뒤 이어서 실행해야 한다면 병렬 실행의 이점은 사라진다. 공개된 코드에서는 역할 수보다 작업 의존 관계도를 중점적으로 살펴봐야 한다.
2. Token 예산
각 Agent가 공유 컨텍스트를 그대로携带하면 같은 내용을 반복해서 읽어 입력 Token이 늘어날 수 있다.
더 효율적인 방식은 역할마다 서로 다른视图를 제공하는 것이다. 예를 들어 디버깅 역할에는 코드와 오류 로그를, 검토 역할에는 패치와 테스트 결과를 전달한다. 모든 팀원에게 전체 대화를 읽게 할 필요는 없다.
3. 결과 충돌
두 Agent가 서로 다른 판단을 내렸다고 해서 시스템이 마지막 출력 하나를 그대로 선택해서는 안 된다.
충돌 처리 규칙이 명확해야 한다. 테스트 결과로 판정할지, 고정된 역할이 재검토할지, 여러 차례의 논의를 허용할지 정해야 한다. 토론 횟수가 늘어나면 지연 시간도 함께 증가한다.
4. 오류 전파
협업 시스템에서 가장 간과되기 쉬운 위험 요소다.
잘못된 요약이 공유 메모리에 들어가면 다른 팀원이 이를 사실로 받아들일 수 있다. 잘못된 코드도 다음 Agent가 전제로 삼아 수정 작업을 이어갈 수 있다.
따라서 메모리 기록은 append만으로 처리해서는 안 된다. 최소한 출처 표시, 상태 필드, 롤백 메커니즘이 필요하다. 다음과 같은 실용적인 데이터 구조를 생각할 수 있다.
{
"artifact": "candidate_fix.py",
"source_agent": "debugger",
"status": "needs_review",
"evidence": ["pytest: 18 passed, 2 failed"],
"version": 2
}
이는 Memdoor 저장소에 이미 포함된 코드가 아니라, 엔지니어링 경계를 설명하기 위해 필요한 최소 필드를 보여주는 예시다. 실제 구현은 저장소를 기준으로 확인해야 한다.
프로덕션 시스템에서 팀 방식이 단일 Agent보다 반드시 안정적인 것도 아니다. 스케줄링, 모니터링, 원인 추적 비용이 추가되기 때문이다. 작업을 명확히 나눌 수 있고, 결과를 검증할 수 있으며, 메모리를 안정적으로 전달할 수 있을 때만 다중 Agent가 의미가 있다.
편집자 관점
이 결과의 중요점은 ‘Qwen 5개가 더 강한 모델 1개를 이겼다’는 데 있지 않다. 단일 benchmark만으로 Agent 팀이 단일 모델보다 전반적으로 우수하다고 증명할 수는 없다. 테스트 세트 난이도, 문제 분포, 샘플링 파라미터, 평가 방식에 따라 순위가 바뀔 수 있다. Fable 5의 정확한 정체와 전체 평가 설정 역시 저장소, 발표 페이지, leaderboard를 통해 추가로 확인해야 한다.
하지만 코드가 공개됐다는 사실은 더 구체적인 신호를 준다. Agent 시스템의 최적화 초점은 ‘더 큰 모델로 교체’하는 일에서 ‘더 나은 협업 구조를 설계’하는 일로 옮겨가고 있다는 점이다. 이번 사례는 역할, 메모리, 오케스트레이션이 데모stration 영상에만 머무르지 않고 검증 가능한 코드로 구현됐다는 점에서 이전 사례와 다르다.
다음으로 주목할 프로젝트들은 상태 전달, 충돌 판정, 실패 복구에 집중할 가능성이 크다. 팀 방식의 가치는 모델 수에서 나오지 않을 수 있다. 한 번의 불안정한 긴 추론을 여러 개의 검증하고 롤백할 수 있는 작은 단계로 나눌 수 있느냐가 핵심이다. 다만 평가 설정이나 작업 분할을 재현할 수 없다면 이 결론에는 여전히 유보가 필요하다.
출처
https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve