도구

같은 모델, 9개 Agent 프레임워크인데 비용은 17배 차이 — FrontierHarness가 드러낸 숨은 프리미엄

Show HN에서 36점을 받은 프로젝트가 동일 모델로 9종 harness를 돌려본 결과, 가장 비싼 것과 싼 것의 cost per pass가 17배 차이가 났다. Agent 프레임워크 선택이 모델 교체보다 비용에 더 큰 영향을 줄 수 있다.

글자 크기

17배 차이는 어디서 나오나

최근 HN의 Show HN에서 36점, 댓글 11개를 받은 FrontierHarness라는 프로젝트가 화제다. 내용은 단순하다. 같은 모델을 9개의 서로 다른 Agent harness에서 돌려보고, 각 harness의 cost per pass를 비교한 것이다.

결과는 다소意外하다. 가장 비싼 harness와 가장 싼 harness의 차이가 무려 17배다.

모델은 같고, 과제도 같다. 차이의 거의 전부는 harness 자체에서 나온다. tool use loop가 token을 어떻게调度하는지, context를 어떻게 잘라내는지, multi agent가 어떻게 협업하는지가 전부. 프레임워크 계층은 단순한 '래퍼'가 아니라, 능동적으로 token을 소모하는 중간층이다.

17배 차이의 구체적 원인

FrontierHarness는 cost per pass를 가로축으로 놓고 9개 harness를 정렬했다. 동일한 prompt, 동일한 모델을 9개 harness에 돌렸을 때, 상위권과 하위권의 비용은 한 자릿수 차이가 난다.

직관적으로 이해하면 이렇다. 모델을 바꿔서 아끼는 비용은 크지 않다. GPT-4o와 Claude 3.5 Sonnet의 단가 차이가 2~3배면 많은 편이지, harness를 잘못 고르면 17배다. Agent 프로젝트의 비용 압박은 대부분 모델이 아니라 프레임워크에서 발생한다.

더 골치 아픈 점은, harness의 비용 차이는 구조적인 성격이라는 것이다. prompt를 좀 만진다고 평준화되지 않는다.

harness가 비싼 진짜 이유

분해해 보면, 비싼 harness는 보통 다음 지점에서 token을 태운다.

  • Tool use loop 재시도. tool call이 한 번 실패하면 harness가 자동으로 2~3회 재시도한다. 매번 전체 history를 다시 context에 넣는다. 한 번 실패의 비용은 정상 경로의 2~3배.
  • Context 누적 후 미삭제. 몇 라운드 대화가 지나면 context에 초기의 tool 출력, 에러 로그, 재시도 기록이 쌓인다. 많은 harness가 기본값으로 자르지 않고 그대로 다음 라운드에 넘긴다.
  • Multi agent 협업의 중복 메시지. CrewAI, AutoGen 같은 multi agent 프레임워크는 agent끼리 메시지를 주고받고 plan을 조율한다. 이런 '조정 비용'은 보통 사용자 부담으로 귀결된다.
  • 시스템 prompt의 볼륨. 일부 프레임워크는 기본으로 꽤 긴 system prompt를 주입한다. 본인이 작성한 것보다 더 길 수 있다. 매 token이 input 요율로 과금된다.

예를 들어 LangGraph는 상태 그래프 설계상 세밀한 제어가 가능하다. state를 명시적으로 잘라내고 retry 횟수를 제한할 수 있다. 대신 개발자가 글루 코드를 더 많이 짜야 한다.

CrewAI는 진입 장벽이 낮다. 데코레이터만 붙이면 바로 돌아간다. 다만 기본 agent 협업 모드는 모든 agent의 히스토리를 합쳐서 전달하기 때문에, 긴 과제를 돌리면 context가 빠르게 부풀어 오른다.

AutoGen은 그 중간 정도. GroupChat 메커니즘은 유연하지만, multi agent 협상을 켜는 순간 보이지 않는 '내부 통신'이 token을 엄청나게 잡아먹는다.

비싼 것이 버그는 아니다. 비싼 harness는 보통 개발자 대신 더 많은 일을 해주기 때문에 비싸다. 문제는 청구서를 보기 전까지는 도대체 어떤 '자동화 기능'에 돈을 쓰고 있는지 모른다는 점이다.

평가 방법이 믿을 만한가

FrontierHarness는 출발점으로 유용하지만, 프로젝트 페이지를 살펴본 뒤 몇 가지 의문이 생겼다.

  • 9개 harness가 정확히 어떤 것들인가? 구체적인 목록이 결론을 크게 바꾼다. 연구 성격(ReAct, Reflexion 등)만 모았는지, LangGraph·CrewAI 같은 프로덕션 프레임워크가 섞여 있는지 여부에 따라 해석이 달라진다.
  • 평가 과제가 단일 라운드인가, 다중 라운드인가? 단일 라운드 Q&A에서는 harness 간 차이가 거의 없다. 차이가 벌어지는 구간은 다중 라운드, tool 단, 긴 context다. 과제 설계가 단순하면 17배라는 숫자가 오히려 과소평가일 수 있다.
  • Token 카운트 기준이 동일한가? 어떤 harness는 내부 message routing의 token까지 포함하고, 어떤 harness는 user-facing token만 센다. 동일한 '비용'이 측정 기준에 따라 20%씩 차이 날 수 있다.

순위표의 한계는 이거다. 누가 싼지만 알려주고, 왜 싼지는 알려주지 않는다. 0.01달러짜리 harness가 '효율적'이기 때문이 아니라, 자동 retry·context 압축·multi agent 조율 같은 기능 자체를 안 하기 때문일 수 있다.

개발자가 바로 할 수 있는 점검

FrontierHarness의 방법론이 100% 엄밀하든 아니든, 개발자가 오늘 당장 할 수 있는 점검은 몇 가지 있다.

1. 본인 과제의 cost per task를 직접 계산한다. harness를 100회 돌리고 총 비용을 과제 수로 나눠본다. 대부분의 Agent 프로젝트에서 cost per task는 개발자의 직관보다 훨씬 높게 나온다. retry, context 누적, 긴 system prompt가 다 보이지 않는 비용이기 때문이다.

2. 불필요한 tool loop를 끈다. 많은 harness가 '지능형 retry'를 기본으로 놓는다. tool call이 한 번 실패하면 바로 재시도한다. 설정을 확인해서 retry 횟수를 3에서 1로 줄이면 불필요한 token을 상당히 잘라낼 수 있다.

3. System prompt 길이를 확인한다. system prompt를 출력해서 직접 읽어보면, 프레임워크가 기본으로 끼워넣은 수백 줄짜리 설명 문서를 발견할 때가 많다. 실제 지시사항이 200자인데 system prompt가 2,000자라면, 매 라운드 대화에서 그 1,800자에 대한 요금을 내고 있는 셈이다.

FrontierHarness 프로젝트 자체를 자가 점검 도구로 활용할 수 있다(주소: frontierharness.org). 본인 prompt를 넣고 harness별 비용 분포를 보면, 현재 선택지가 어느 구간에 위치하는지 정도는 파악할 수 있다.

편집자 생각

Agent harness의 비용 프리미엄은 버그가 아니라 기능이다. 다만 그 기능의 가격 구조가 개발자에게 불투명하다.

이전의 LLM 프레임워크 선택(LangChain vs LlamaIndex 같은)과 결정적으로 다른 지점이 바로 이거다. harness는 곧바로 비용으로 이어지고, ORM 계층의 추상화는 최소한 안정적이었으며, 글루 코드를 몇 줄 더 짜도 DB 쿼리 비용이 늘어나지는 않는다. 하지만 harness를 잘못 고르면 그 달 청구서가 두 배가 된다.

판단은 이렇다. 앞으로 6~12개월 내에 'harness profiler' 도구들이 등장할 가능성이 높다. cost tracing과 token breakdown 전용이다. 지금의 프런트엔드 bundle analyzer와 비슷한 역할이다. 배포 후에야 bundle의 80%가 안 쓰는 의존성이라는 사실을 발견하듯, harness 버전의 발견은 '배포 후에야 token의 80%가 프레임워크 자체에 쓰이고 있었다'가 될 것이다.

함의는 이렇다. Agent 프레임워크의 차별화 경쟁은 '기능의 많고 적음'에서 '단위 비용당 능력'으로 이동할 것이다. 1달러 예산 안에서 더 많은 과제를 완수하는 쪽이 승리하고, 기능을 쌓는 타입의 프레임워크(CrewAI 같은)는 점점 설 자리를 잃을 수 있다.

불확실한 부분도 있다. FrontierHarness의 평가를 독립적으로 재현해 보지 못했기 때문에, 구체적인 9개 harness 목록과 과제 설계가 결론에 미치는 영향이 크다. 원본 benchmark를 직접 돌려본 독자가 있다면 댓글에서 숫자를 맞춰보길 권한다.

출처: FrontierHarness 프로젝트 페이지

출처: https://frontierharness.org