프레임워크

17,000회 실측: Claude·Codex·Cursor는 어떤 도구를 꺼내 드는가

Armature Tech가 17,000회 작업을 돌려 세 코딩 Agent가 스스로 설치·호출한 도구 조합을 집계했다. 비싼 모델일수록 도구 호출이 오히려 적다는, 직관과 반대되는 결과가 눈에 띈다.

글자 크기

코딩 Agent를 평가하는 글은 많이 봤지만, Armature Tech의 글은 시각 자체가 다르다. "누가 더 나은 코드를 쓰나"를 비교한 게 아니라, 실제 작업에서 Agent가 스스로 어떤 도구를 골랐는지를 통계를 냈다. 출력 품질이 아니라 도구 목록을 본 것이다. 17,000회 실행에 Claude, Codex, Cursor를 각각 한 번씩 돌렸다.

이렇게 "Agent가 시장에서 무슨 채소를 사 오는지"를 들여다보는 시점은主流 평가에서는 잘 없다.

테스트 방식: 데모가 아니라 Agent 선택지를 본다

대부분의 Agent 평가는 이런 흐름이다. 프롬프트를 넣고, 끝나면 출력이 맞는지 본다. HumanEval, MBPP, SWE-bench가 이 루트다.

Armature은 다른 길을 갔다. Agent가 스스로 설치하고 호출한 도구를 기록한 것이다.

구체적인 방법: 실제 엔지니어링 과제(저장소 읽기, 테스트 작성, 의존성 조정, 버그 수정)에서 Agent가 직접 결정하게 했다. npm install 뭘 할지, 어떤 CLI를 부를지, 어떤 MCP server를 쓸지. 과제가 끝나면 도구 호출 로그를 집계했다.

이 방식의 장점은 벤더의 마케팅 카피를 우회한다는 점이다. Anthropic, OpenAI, Cursor가 각자 홍보하는 기능 세트는 한 가지고, Agent가 17,000회 과제에서 실제로 손을 뻗어 집은 도구는 또 다른 문제다. 두 가지가 맞지 않는 경우가 많다.

데이터 출처: Armature Tech 원문.

세 Agent의 도구 취향, 차이가 생각보다 크다

Armature은 자주 등장한 도구를 몇 가지 범주로 묶었다. 몇 가지 흥미로운 부분만 골라 보자.

세 Agent 모두 깔아 두는 "기본템"

  • 파일 조작 계열: Read, Write, Edit, Glob, Grep. 한 사람 몫씩 기본으로 들고 다닌다.
  • Git 툴체인: git status, git diff, git commit. 세 곳 모두 사용.
  • 테스트 러너: pytest(Python 과제), npm test(JS 과제).
  • 패키지 매니저: pip / npm / pnpm. 언어에 따라 다르지만 호출 빈도는 모두 높다.

이 구간은 의외가 없다. 도구 호출은 원래 이 모양이어야 한다.

차이가 벌어지는 지점

  • Claude: LSP(language server protocol) 관련 도구 호출이 눈에 띄게 많다. 코드를 먼저 "읽고" 움직이는 쪽이다. 정의로 점프, 타입 확인, 참조 조회 후 손을 댄다. tree-sitter, mypy, tsc --noEmit 같은 정적 검사 호출 빈도가 다른 둘보다 한 단계 높다.
  • Codex: "바로 고친다" 쪽에 가깝다. 도구 호출 체인이 짧고 lint를 잘 돌리지 않는다. 고치고 곧장 commit한다. "먼저 검증하고 쓰기" 단계를 건너뛴 느낌이다.
  • Cursor: IDE 통합 관련 도구 호출이 가장 많다. 탭 점프, 다중 파일 diff, 에디터 내부 테스트 실행 같은 것들. 자기 에디터 컨텍스트에 깊이 의존한다.

각자만의 독특한 습관

  • Claude는 과제에서 요구하지 않아도 ruff와 black을 자주 스스로 설치한다.
  • Codex는 여러 변경을 한 commit에 묶는 편이고, 도구 호출 횟수가 가장 적다.
  • Cursor는 긴 과제에서 "현재 선택된 파일 읽기"를 반복해서 부른다. IDE 상태에 강하게 의존한다.

이런 차이는 벤더가 광고해서 생긴 게 아니라 17,000회 로그에서 캐낸 것이다.

직관과 반대되는 발견: 비싼 Agent가 오히려 게으르다

여기서 예상 밖인 결론이 하나 나온다.

직관적으로 Claude Opus 4는 "능력이 가장 강함 → 도구를 가장 많이 설치 → 뭐든 잘 씀"이어야 한다. 실제 측정 결과는 그렇지 않다.

Armature의 데이터: 능력이 더 강한 모델일수록 도구 호출 횟수가 오히려 적다.

  • Claude(특히 Sonnet/Opus 구간)는 같은 일을 더 적은 도구 호출로 끝낸다. 필요한 컨텍스트를 한 번에 끝내 물어보는 쪽이고, 시행착오를 반복하지 않는다.
  • Codex는 특정 과제에서 도구 호출 수가 Claude의 1.5~2배다.
  • Cursor는 중간인데, IDE 관련 도구 비중이 눈에 띄게 높다.

이건 "새 모델이 더 강하니 더 부지런해야 한다"는 직관과 반대다. 더 정확한 해석은 아마 이렇다. 능력이 강한 모델일수록 도구 선택이 더 정확하다. 필요한 정보를 한 번에 다 가져오고, 약한 모델은 더 많은 라운드를 돌려 "추측"한다.

즉, 도구 호출 횟수를 단순히 "일의 양"으로 등치시키면 안 된다. 적은 쪽이 오히려 효율적일 수 있다.

관련된 현상 하나 더: 비싸고 새로운 모델은 새 의존성을 스스로 설치하는 빈도도 낮다. 프로젝트에 이미 깔린 라이브러리를 재사용하는 쪽이고, npm install로 새 패키지를 우르르 깔지 않는다. 프로덕션 환경에서 이건 좋은 소식이다. 의존성 비대화는 Agent 시스템의 흔한 숨은 비용이다.

개발자에게 실용적인 의미: 벤치마크만 보지 말 것

Agent 제품을 만들고 있거나, 셀렉션 단계에서 Agent를 CI에 붙이려는 사람이라면 이 데이터에서 바로 쓸 수 있는 게 몇 가지 있다.

1. 토큰 비용 추정은 모델 단가가 아니라 도구 호출 패턴을 봐야 한다.

모델 가격표는 input/output 토큰 기준이다. 그런데 Agent의 토큰 소비 대목은 도구가 돌려주는 내용이다. 파일 내용, grep 결과, 테스트 출력. Claude는 호출 횟수가 적다고 토큰 총소비가 낮은 게 아니다. 한 번에 끌어오는 내용이 더 클 수 있다. 자기 과제 타입을 봐야 한다.

# 대략적인 비용 추정 프레임
def estimate_cost(agent_runs):
    total = 0
    for run in agent_runs:
        # 단일 도구 호출당 평균 토큰
        avg_tool_tokens = run['total_tokens'] / max(run['tool_calls'], 1)
        # 모델 단가
        model_cost = run['model_price_per_1k'] * run['total_tokens'] / 1000
        total += model_cost
    return total

이 수치와 "어떤 모델이 비싸다"를 단순 비교하면 어긋난다.

2. 도구 화이트리스트는 일괄 적용하지 말 것.

Agent에 도구 세트를 부여한다면, Armature 데이터는 과제별로 나눌 것을 권한다.

  • 읽기 많고 쓰기 적은 과제 → Claude 스타일(LSP·정적 검사 강화)
  • 빠르게 반복하는 과제 → Codex 스타일(짧은 호출 체인, 잦은 commit)
  • IDE 깊숙이 통합되는 시나리오 → Cursor 경로

3. "도구 비대화"를 경계할 것.

Agent가 부를 수 있는 도구는 많을수록 좋을까? 실측 데이터는 오히려 반대다. Claude는 도구가 적은 환경에서 더 안정적이다. 뭘 써야 하고 뭘 건드리지 말아야 하는지 알고 있다. 도구 풀이 커지면 어느 Agent든 안정성이 떨어진다.

실무 조언: 시작 단계에 핵심 도구 5~10개만 주고, 과제 결과를 보고 늘려라. 처음부터 에코시스템 전체를 노출하지 말 것.

편집자 메모

이 일을 따로 적을 만한 가치가 있는 이유는, Agent 평가의 초점이 슬쩍 이동하고 있기 때문이다.

지난 2년간 사람들은 "누가 테스트를 더 많이 통과시키나"를 비교했다. HumanEval, MBPP, SWE-bench 같은 순위표가 시장을 지배했다. 그런데 이런 평가에는 사각지대가 있다. Agent를 "문제 풀이 기계"로 취급하면서, 한 가지 사실을 놓친다. Agent는 도구 생태계 안에서 일하고, 도구를 고르는 방식이 프로덕션 비용과 안정성에 곧바로 영향을 준다.

Armature의 방식은 다른 자를 제공한다. "과제를 몇 개 맞혔나"가 아니라, 17,000회 실제 과제에서 스스로 손 뻗어 무엇을 집었나를 본다. 이 자가 벤치마크보다 실제 사용에 가깝다.

내 판단으로는, 다음 라운드의 Agent 평가는 "출력 품질"에서 "도구 사용 효율"로 무게중심을 옮길 것이다. 구체적인 지표는 token per task, tool-call redundancy rate, dependency bloat index 같은 것들이다. 이미 팀 몇 개가 움직이고 있다.

Armature 방식의 한계도 짚어야 한다. 17,000회 과제 안에서도 과제 타입 분포, 코드베이스 종류, Agent 설정 버전이 결론에 영향을 준다. Claude의 "도구 적게 쓰기" 성향이 어떤 긴 과제에서는 오히려 약점으로 뒤집힐 수 있다. 한 번에 끌어오는 context가 많아지면 곧장 토큰 한도에 부딪힐 수 있다는 뜻이다. 이 데이터는 횡단면이고, 인과관계가 아니다.

하나 더 모르는 지점이 있다. 이 성향은 모델 구조에서 나온 것인가, 학습 데이터에서 나온 것인가? fine-tune 버전을 바꾸면 도구 성향도 바뀔까? Armature은 이 질문에 답하지 않았고, 나도 답을 모른다.

다만 한 가지는 확실하다. Agent의 도구 호출 로그를 보는 게, 벤더的宣传 페이지를 보는 것보다 훨씬 믿을 만하다.

출처: https://armature.tech/blog/which-tools-coding-agents-install