코딩 Agent를 평가하는 글은 많이 봤지만, Armature Tech의 글은 시각 자체가 다르다. "누가 더 나은 코드를 쓰나"를 비교한 게 아니라, 실제 작업에서 Agent가 스스로 어떤 도구를 골랐는지를 통계를 냈다. 출력 품질이 아니라 도구 목록을 본 것이다. 17,000회 실행에 Claude, Codex, Cursor를 각각 한 번씩 돌렸다.
이렇게 "Agent가 시장에서 무슨 채소를 사 오는지"를 들여다보는 시점은主流 평가에서는 잘 없다.
테스트 방식: 데모가 아니라 Agent 선택지를 본다
대부분의 Agent 평가는 이런 흐름이다. 프롬프트를 넣고, 끝나면 출력이 맞는지 본다. HumanEval, MBPP, SWE-bench가 이 루트다.
Armature은 다른 길을 갔다. Agent가 스스로 설치하고 호출한 도구를 기록한 것이다.
구체적인 방법: 실제 엔지니어링 과제(저장소 읽기, 테스트 작성, 의존성 조정, 버그 수정)에서 Agent가 직접 결정하게 했다. npm install 뭘 할지, 어떤 CLI를 부를지, 어떤 MCP server를 쓸지. 과제가 끝나면 도구 호출 로그를 집계했다.
이 방식의 장점은 벤더의 마케팅 카피를 우회한다는 점이다. Anthropic, OpenAI, Cursor가 각자 홍보하는 기능 세트는 한 가지고, Agent가 17,000회 과제에서 실제로 손을 뻗어 집은 도구는 또 다른 문제다. 두 가지가 맞지 않는 경우가 많다.
데이터 출처: Armature Tech 원문.
세 Agent의 도구 취향, 차이가 생각보다 크다
Armature은 자주 등장한 도구를 몇 가지 범주로 묶었다. 몇 가지 흥미로운 부분만 골라 보자.
세 Agent 모두 깔아 두는 "기본템"
- 파일 조작 계열:
Read,Write,Edit,Glob,Grep. 한 사람 몫씩 기본으로 들고 다닌다. - Git 툴체인:
git status,git diff,git commit. 세 곳 모두 사용. - 테스트 러너:
pytest(Python 과제),npm test(JS 과제). - 패키지 매니저:
pip/npm/pnpm. 언어에 따라 다르지만 호출 빈도는 모두 높다.
이 구간은 의외가 없다. 도구 호출은 원래 이 모양이어야 한다.
차이가 벌어지는 지점
- Claude: LSP(language server protocol) 관련 도구 호출이 눈에 띄게 많다. 코드를 먼저 "읽고" 움직이는 쪽이다. 정의로 점프, 타입 확인, 참조 조회 후 손을 댄다.
tree-sitter,mypy,tsc --noEmit같은 정적 검사 호출 빈도가 다른 둘보다 한 단계 높다. - Codex: "바로 고친다" 쪽에 가깝다. 도구 호출 체인이 짧고 lint를 잘 돌리지 않는다. 고치고 곧장 commit한다. "먼저 검증하고 쓰기" 단계를 건너뛴 느낌이다.
- Cursor: IDE 통합 관련 도구 호출이 가장 많다. 탭 점프, 다중 파일 diff, 에디터 내부 테스트 실행 같은 것들. 자기 에디터 컨텍스트에 깊이 의존한다.
각자만의 독특한 습관
- Claude는 과제에서 요구하지 않아도
ruff와black을 자주 스스로 설치한다. - Codex는 여러 변경을 한 commit에 묶는 편이고, 도구 호출 횟수가 가장 적다.
- Cursor는 긴 과제에서 "현재 선택된 파일 읽기"를 반복해서 부른다. IDE 상태에 강하게 의존한다.
이런 차이는 벤더가 광고해서 생긴 게 아니라 17,000회 로그에서 캐낸 것이다.
직관과 반대되는 발견: 비싼 Agent가 오히려 게으르다
여기서 예상 밖인 결론이 하나 나온다.
직관적으로 Claude Opus 4는 "능력이 가장 강함 → 도구를 가장 많이 설치 → 뭐든 잘 씀"이어야 한다. 실제 측정 결과는 그렇지 않다.
Armature의 데이터: 능력이 더 강한 모델일수록 도구 호출 횟수가 오히려 적다.
- Claude(특히 Sonnet/Opus 구간)는 같은 일을 더 적은 도구 호출로 끝낸다. 필요한 컨텍스트를 한 번에 끝내 물어보는 쪽이고, 시행착오를 반복하지 않는다.
- Codex는 특정 과제에서 도구 호출 수가 Claude의 1.5~2배다.
- Cursor는 중간인데, IDE 관련 도구 비중이 눈에 띄게 높다.
이건 "새 모델이 더 강하니 더 부지런해야 한다"는 직관과 반대다. 더 정확한 해석은 아마 이렇다. 능력이 강한 모델일수록 도구 선택이 더 정확하다. 필요한 정보를 한 번에 다 가져오고, 약한 모델은 더 많은 라운드를 돌려 "추측"한다.
즉, 도구 호출 횟수를 단순히 "일의 양"으로 등치시키면 안 된다. 적은 쪽이 오히려 효율적일 수 있다.
관련된 현상 하나 더: 비싸고 새로운 모델은 새 의존성을 스스로 설치하는 빈도도 낮다. 프로젝트에 이미 깔린 라이브러리를 재사용하는 쪽이고, npm install로 새 패키지를 우르르 깔지 않는다. 프로덕션 환경에서 이건 좋은 소식이다. 의존성 비대화는 Agent 시스템의 흔한 숨은 비용이다.
개발자에게 실용적인 의미: 벤치마크만 보지 말 것
Agent 제품을 만들고 있거나, 셀렉션 단계에서 Agent를 CI에 붙이려는 사람이라면 이 데이터에서 바로 쓸 수 있는 게 몇 가지 있다.
1. 토큰 비용 추정은 모델 단가가 아니라 도구 호출 패턴을 봐야 한다.
모델 가격표는 input/output 토큰 기준이다. 그런데 Agent의 토큰 소비 대목은 도구가 돌려주는 내용이다. 파일 내용, grep 결과, 테스트 출력. Claude는 호출 횟수가 적다고 토큰 총소비가 낮은 게 아니다. 한 번에 끌어오는 내용이 더 클 수 있다. 자기 과제 타입을 봐야 한다.
# 대략적인 비용 추정 프레임
def estimate_cost(agent_runs):
total = 0
for run in agent_runs:
# 단일 도구 호출당 평균 토큰
avg_tool_tokens = run['total_tokens'] / max(run['tool_calls'], 1)
# 모델 단가
model_cost = run['model_price_per_1k'] * run['total_tokens'] / 1000
total += model_cost
return total
이 수치와 "어떤 모델이 비싸다"를 단순 비교하면 어긋난다.
2. 도구 화이트리스트는 일괄 적용하지 말 것.
Agent에 도구 세트를 부여한다면, Armature 데이터는 과제별로 나눌 것을 권한다.
- 읽기 많고 쓰기 적은 과제 → Claude 스타일(LSP·정적 검사 강화)
- 빠르게 반복하는 과제 → Codex 스타일(짧은 호출 체인, 잦은 commit)
- IDE 깊숙이 통합되는 시나리오 → Cursor 경로
3. "도구 비대화"를 경계할 것.
Agent가 부를 수 있는 도구는 많을수록 좋을까? 실측 데이터는 오히려 반대다. Claude는 도구가 적은 환경에서 더 안정적이다. 뭘 써야 하고 뭘 건드리지 말아야 하는지 알고 있다. 도구 풀이 커지면 어느 Agent든 안정성이 떨어진다.
실무 조언: 시작 단계에 핵심 도구 5~10개만 주고, 과제 결과를 보고 늘려라. 처음부터 에코시스템 전체를 노출하지 말 것.
편집자 메모
이 일을 따로 적을 만한 가치가 있는 이유는, Agent 평가의 초점이 슬쩍 이동하고 있기 때문이다.
지난 2년간 사람들은 "누가 테스트를 더 많이 통과시키나"를 비교했다. HumanEval, MBPP, SWE-bench 같은 순위표가 시장을 지배했다. 그런데 이런 평가에는 사각지대가 있다. Agent를 "문제 풀이 기계"로 취급하면서, 한 가지 사실을 놓친다. Agent는 도구 생태계 안에서 일하고, 도구를 고르는 방식이 프로덕션 비용과 안정성에 곧바로 영향을 준다.
Armature의 방식은 다른 자를 제공한다. "과제를 몇 개 맞혔나"가 아니라, 17,000회 실제 과제에서 스스로 손 뻗어 무엇을 집었나를 본다. 이 자가 벤치마크보다 실제 사용에 가깝다.
내 판단으로는, 다음 라운드의 Agent 평가는 "출력 품질"에서 "도구 사용 효율"로 무게중심을 옮길 것이다. 구체적인 지표는 token per task, tool-call redundancy rate, dependency bloat index 같은 것들이다. 이미 팀 몇 개가 움직이고 있다.
Armature 방식의 한계도 짚어야 한다. 17,000회 과제 안에서도 과제 타입 분포, 코드베이스 종류, Agent 설정 버전이 결론에 영향을 준다. Claude의 "도구 적게 쓰기" 성향이 어떤 긴 과제에서는 오히려 약점으로 뒤집힐 수 있다. 한 번에 끌어오는 context가 많아지면 곧장 토큰 한도에 부딪힐 수 있다는 뜻이다. 이 데이터는 횡단면이고, 인과관계가 아니다.
하나 더 모르는 지점이 있다. 이 성향은 모델 구조에서 나온 것인가, 학습 데이터에서 나온 것인가? fine-tune 버전을 바꾸면 도구 성향도 바뀔까? Armature은 이 질문에 답하지 않았고, 나도 답을 모른다.
다만 한 가지는 확실하다. Agent의 도구 호출 로그를 보는 게, 벤더的宣传 페이지를 보는 것보다 훨씬 믿을 만하다.