지난 1년간 각厂商들이 코딩 에이전트 리더보드에서 치열하게 점수를 경쟁해왔다. SWE-bench Verified 점수가 30%대에서 60% 중반까지 올라간 걸 보면 모델 업그레이드의功劳처럼 보인다. 하지만 HarnessTax 프로젝트의 결론은 이러다: 천천히, 그 숫자에서 harness(包装层)가 차지하는 비중이 생각보다 훨씬 클 수 있다.
문제: 모델은 업그레이드됐는데, 에이전트 체감은 그대로
몇 개 코딩 에이전트를 직접 써본 경험으로 말하자면, GPT-5, Claude 4.5, DeepSeek V3.2는 이전 세대보다 낫다. 다만 리더보드에서 보일 정도로 드라마틱하게 나아진 건 아니다. SWE-bench에서 20점 차이가 나는 두 모델이, 실제 업무에서는 5점 차이처럼 느껴질 때가 많다.
HarnessTax의 가설은 직관적이다. 점수 차이는 base model이 아니라 harness에서 발생한다. harness란 prompt scaffolding, tool 정의, 오류 재시도 메커니즘 같은 '包装层'을 가리킨다. 동일한 base model에 harness만 갈아끼우면 점수가 30점 이상 벌어질 수 있다는 게 핵심 주장이다.
프로젝트 홈페이지의 요지: 연구는 harness(prompt scaffolding, tools, feedback loops)와 base model이 코딩 에이전트 성능에 미치는 영향을 체계적으로 분리했다.
풀어 쓰면 이렇다. 벤치마크로 측정하는 대상은 에이전트이지 모델이 아니다. 그런데 업계는 에이전트 성적을 모델 순위로 사용하고 있다.
실험 설계: harness를 벗겨내는 제어변수 방식
핵심은 제어변수다. base model(예: 동일 버전의 GPT-4o 또는 Claude 3.5 Sonnet)을 고정한 채 harness만 바꾼다. 바꾸는 변수는 프롬프트 템플릿, tool 호출용 JSON schema, 오류 재시도 횟수, 재시도 시 prompt 수정 여부, 컨텍스트 윈도우 관리 전략 등이다.
규모를 구체적으로 말하자면, 연구는 SWE-bench, LiveCodeBench, HumanEval 같은 주류 코딩 벤치마크를 대상으로 진행됐다. 각 벤치마크에서 동일한 base model 묶음에 여러 harness 구성을 교차시켜 돌렸다.
방법론은 A/B 테스트의 산업화 버전이라 보면 된다. 변수를 하나씩 바꾸는 게 아니라 harness를 독립 차원(프롬프트 구조 / tool API 설계 / 피드백 루프 메커니즘)으로 쪼개고, 각 차원별 기여도를 따로 측정한다.
# 실험 설계 개념을 단순화한 버전
from dataclasses import dataclass
from typing import List
@dataclass
class HarnessConfig:
prompt_template: str # 프롬프트 구조
tool_schema: dict # tool 정의
retry_strategy: str # 오류 재시도 메커니즘
context_management: str # 컨텍스트 윈도우 전략
# base_model은 고정, harness 차원만 변화
experiments = [
HarnessConfig("minimal", basic_tools, "none", "truncate"),
HarnessConfig("structured", rich_tools, "adaptive", "sliding_window"),
# ... 수십 가지 조합
]
for config in experiments:
score = run_benchmark(base_model, config)
record(config, score)
결과: 투자 판단까지 흔들릴 정도의 격차
연구 홈페이지의 표현이 매우 직설적이다. harness 수준의 차이가 에이전트 성능의 유의미하고 때로 오해의 소지가 큰 변동을 만들어낼 수 있다.
Hacker News에서 이 프로젝트는 62점, 17개 댓글(HN item id 49733726, 게재 시점 기준이며 이후 변동 가능)을 받았다. HN 토론에서 높은 추천을 받은 코멘트 하나가 이런 말을 남겼다. "점수 차이가 모델에서 얼마나, harness에서 얼마나 오는지, 그걸 시스템적으로 답한 사람은 없었다." 많은 사람이 품고 있던 의문을 그대로 짚은 셈이다.
투자 시각에서 보면 이렇다. 수십억 달러 가치 평가의 회사가 "우리는 OpenAI보다 모델이 낫다"는 스토리를 내세우는데, 점수 차이의 80%가 정교하게 튜닝된 harness 때문이고 모델 가중치가 아닐 수 있다. 이런 가치 평가의 토대는脆하다.
엔지니어링 시각도 다르지 않다. 두 달 동안 프롬프트를 튜닝해서 점수를 15점 올렸다면, 그걸 base model 업그레이드 덕으로 오해하기 쉽다. 실은 harness를 제대로 조정한 덕이다. 다음에 base model이 바뀌면 그 15점은 그대로 사라질 수 있다.
연루된 벤치마크들: 1위 숫자, 아직 유효한가
이름이 거론된 벤치마크는 자주 인용되는 것들이다.
- SWE-bench Verified: 현재 코딩 에이전트의 표준 벤치마크로 통하지만, 점수에서 harness가 차지하는 비중이 명확히 알려지지 않았다.
- LiveCodeBench: 경시대회 스타일 문제에 가까워 harness 영향이 상대적으로 작지만, 무시할 수준은 아니다.
- HumanEval: 너무 오래돼서 사실상 퇴출되었지만, 일부 논문에서 여전히 등장한다.
독자가 이 숫자들을 어떻게 봐야 할까. 제안은 다음과 같다.
- 절대점수보다 상대점수를 봐라. 동일 harness 구성에서 A 모델이 B 모델보다 5점 높다면, 그 5점은 신뢰할 만하다.
- 오픈소스 재현 결과를 확인하라. 벤치마크 성적이厂商 본인만 돌린 거고 harness 코드가 공개되지 않았다면, 즉시 30% 할인을 적용하라.
- 실제 업무 결과를 우선시하라. 벤치마크는 벤치마크일 뿐이고, 우리 코드베이스에서 돌렸을 때의 결과가 진짜 점수다.
실전 가이드: 에이전트를 직접 만들 때 함정 피하는 법
harness가 정말로 중요하다면, 엔지니어링 우선순위는 어떻게 잡아야 할까.
1단계: harness부터 제대로 조인다
- 프롬프트를 구조화한다(매 단계 무엇을 해야 하는지 모델에게 명시).
- tool 정의는 원자적으로(하나의 함수가 열 가지 일을 하지 않도록).
- 오류 피드백은 구체적 컨텍스트를 포함한다("error: NoneType" 같은 무의미한 메시지가 아니라 "X 호출 시 Y 필드 누락" 식으로).
2단계: 그래도 부족하면 모델 교체를 검토한다
- harness를 고정한 상태에서 base model별 성능을 측정한다.
- 차이가 5점 미만이면 모델 변경은 손해다(비용, 지연, 컴플라이언스 리스크 감수).
- 차이가 10점 초과면 검토할 만하다.
판단 프레임워크(필자가 쓰는 것):
- 동일 harness에서 모델별 차이 < 5% → 모델 변경 집착하지 말고 harness 계속 튜닝.
- 동일 harness에서 모델별 차이 5~15% → 전환 비용(지연, 가격) 평가.
- 동일 harness에서 모델별 차이 > 15% → 전환하되 harness 재튜닝 필수.
- 동일 모델에서 harness별 차이 > 20% → harness가 진짜 병목.
마지막 항목이 핵심이다. 프롬프트 템플릿 하나 바꿨을 뿐인데 점수가 20점 오르면, 모델 가중치를 미세 튜닝하는 일은性价比가 가장 낮은 선택이다.
편집자의 생각
이 사건의 의미는 "harness가 중요하다" 같은 두루마리式 발언이 아니다. 지금 코딩 에이전트 평가 체계의 통계적 환幻을 벗겨냈다는 데 있다. 우리는 벤치마크 점수로 모델을 순위 매기고, 그 순위로 회사를 평가한다. 그런데 그 점수 안에 모델 자체가 얼마나, 포장 공학이 얼마나 들어 있는지, 아무도 체계적으로 계산한 적이 없었다. HarnessTax가 처음 그걸 해냈다.
내 판단으로는 앞으로 6개월 안에 "harness 평가 열풍"이 한 번 일 것이다. 에이전트 harness 전용 벤치마크를 만드는 팀이 등장할 거고, 지금의 prompt engineering 평가처럼 자리 잡을 가능성이 높다. LangGraph, AutoGen 같은 프레임워크의 가치가 재조명받게 될 것이다. 이들이 파는 건 모델이 아니라 harness다.
이번 연구가 과거 사례와 다른 점: 이전에도 prompt engineering의 중요성을 다룬 논문은 있었다. 하지만 대부분 경험적이거나 case study 형태였다. HarnessTax는 통제 실험으로 harness 기여도를 체계적으로 정량화한 첫 사례다. "프롬프트가 중요한 것 같다"에서 "프롬프트가 모델보다 30점 기여도가 크다"로, 경험에서 증거로의 도약이다.
아직 확신이 서지 않는 부분: harness 기여도가 코딩 외 영역에도 일반화될 수 있을까. web agent, GUI agent, research agent 같은 경우다. 직관적으로는 이 영역들이 harness가 더 복잡하다(tool 수가 많고, 의사결정 사슬이 길다). 따라서 harness 비중이 더 클 가능성도 있다. 다만 실험 검증이 필요하다. 일반화가 성립하면 에이전트 평가 체계 전체를 다시 써야 한다.
출처: