Agent 27,280회 실행, 실패 작업에 추론 비용의 64% 사용
FrontierHarness Eval v1.1은 coding agent 실행 27,280회를 집계했다. 그중 최종적으로 실패한 작업에 전체 추론 지출의 64%가 사용됐다. AI Agent를 도입한 팀은 성공률뿐 아니라 재시도, 무효 루프, 도구 호출 비용까지 함께 계산해야 한다.
추론 비용의 64%가 실패에서 발생
AI Agent의 추론 비용은 모델이 처음에 잘못 답했을 때만 발생하는 것이 아니다.
실패한 작업은 다음과 같은 경로를 자주 거친다.
- 첫 번째 단계에서 제약을 빠뜨린 실행 계획을 생성한다.
- 도구를 호출해 결과를 얻지만 계획을 수정하지 않는다.
- 같은 경로에서 검사와 생성을 반복한다.
- 재시도를 실행해 token과 도구 호출 할당량을 계속 소모한다.
- 최종적으로도 작업을 완료하지 못한다.
개별 요청만 보면 이 단계들이 모두 과도해 보이지는 않는다. 하지만 대규모 작업에서는 무효 루프가 기하급수적으로 확대된다.
최종 실패 실행이 inference spend의 64%를 차지한다는 것은, 전체 추론 지출의 거의 3분의 2가 성공적인 결과로 이어지지 않았다는 뜻이다. 원인은 잘못된 모델 선택, 지나치게 긴 context, 실패한 Agent 실행 전략일 수 있다.
이는 최종 pass rate만 볼 때 놓치기 쉬운 문제다. 두 모델의 성공률이 모두 70%여도, 한 모델은 한 번의 실행으로 성공하지만 다른 모델은 같은 결과를 얻기 위해 5번 연속 수정해야 할 수 있다. 성공률은 같아도 실제 운영 비용은 전혀 다르다.
높은 성공률이 낮은 비용을 뜻하지 않는다
기존 coding agent benchmark는 대개 다음 항목을 중점적으로 살펴본다.
- unit test를 통과했는가
- 최종 제출 코드가 실행되는가
- 사람이 직접 검토한 결과 만족스러웠는가
- 완료 시간이 제한 내에 들었는가
이 지표들은 여전히 유용하지만 Agent의 경제성을 설명하기에는 부족하다.
각 실행마다 다음 다섯 가지 데이터를 저장하는 편이 적절하다.
| 지표 | 답하려는 질문 |
|---|---|
| 성공률 | 최종적으로 올바른 결과를 낸 비율은 얼마인가? |
| 총 token | Agent가 한 작업을 처리하며 소비한 context는 얼마인가? |
| 도구 호출 횟수 | 검색, terminal, editor, 외부 API를 몇 번 호출했는가? |
| 재시도 횟수 | 오류가 반복 실행으로 얼마나 확대됐는가? |
| wall-clock time | 작업이 실제로 기다린 시간은 얼마인가? |
token과 도구 호출 횟수는 함께 살펴봐야 한다. 어떤 Agent는 긴 분석을 생성하지만 도구를 거의 사용하지 않는다. 반대로 다른 Agent의 텍스트 출력은 짧아도 테스트 실행, 로그 확인, 파일 수정을 반복한다. 후자의 경우가 실제 운영 청구서에 나타나는 비용 부담에 더 가깝다.
wall-clock time도 무시할 수 없다. 사람이 20분을 기다릴 수 있는 오프라인 개발 작업이라면 비교적 받아들일 수 있지만, 온라인 서비스에서는 같은 시간이 사용자 경험과 timeout 비용에 직접 영향을 준다.
FrontierHarness Eval v1.1의 변경 사항
이번 릴리스에는 coding agent를 평가하기 위한 FrontierHarness Eval v1.1이 포함됐다.
새 버전의 중요한 변화는 문제 데이터베이스를 늘린 데만 있는 것이 아니다. 평가 대상이 최종 답안에서 전체 실행 과정으로 확장됐다는 점이다.
coding agent의 최종 코드는 실행 과정의 마지막 장면을 기록할 뿐이다. 따라서 평가 과정에서는 다음 정보도 필요하다.
- Agent가 몇 번 계획을 세웠는가
- 어떤 도구 호출에서 오류가 반환됐는가
- 동일한 작업을 반복 실행했는가
- 실패 이후 의미 있는 조정을 수행했는가
- 성공하기 전까지 추론 비용이 어떻게 분포했는가
이 정보를 활용하면 ‘코드가 테스트를 통과하지 못했다’는 결과를 더 세분화할 수 있다. 구현 로직의 오류일 수도 있고, Agent가 프로젝트 구조를 제대로 읽지 못했을 수도 있다. 테스트 실패 뒤 무효 루프에 빠졌을 가능성도 확인할 수 있다.
간단한 소개는 FrontierHarness Eval v1.1에서 확인한다.
이 文章은 Hacker News 메인 페이지에도 올라갔다. 당시 페이지에는 8 points, 2 comments가 표시됐다. 토론 링크는 Hacker News discussion에서 확인할 수 있다.
8 points와 2 comments라는 토론 규모는 크지 않지만, Agent 팀에 데이터가 주는 실제 가치에는 영향을 주지 않는다. 특히 Claude Code, Cursor 또는 다른 coding agent를 사용하는 팀에서는 실패 경로에서 발생하는 비용이 이미 API 청구서에 반영되고 있다. 다만 보통 별도 통계로 관리하지 않을 뿐이다.
운영 환경의 청구서는 실패 경로별로 계산해야 한다
다음 지표들은 평가 보고서에 바로 적용할 수 있다.
1. 성공 1회당 비용
가장 기본적인 계산 방식은 다음과 같다.
successful_cost = total_cost / successful_runs
이 값은 ‘실행 1회당 평균 비용’보다 실제 업무 지출을 잘 나타낸다. 결국 성공한 작업에서만 가치를 얻기 때문이다.
A 모델의 실행 1회당 평균 비용이 1달러이고 성공률이 50%라면 성공 1회당 비용은 2달러다. B 모델의 실행 1회당 평균 비용은 1.2달러이고 성공률이 80%라면 성공 1회당 비용은 1.5달러다. 후자는 겉보기에는 더 비싸지만 실제로는 더 저렴하다.
2. 실패하기 전까지의 평균 추론량
실행을 성공과 실패로 나눈 뒤 각각 집계한다.
average_inference_before_failure = (
sum(run.inference_cost for run in failed_runs) / len(failed_runs)
)
이 지표는 문제의 원인을 좁히는 데 도움이 된다. 실패한 작업이 적은 token만 소비했다면 Agent가 일찍 포기했을 가능성이 크다. 반대로 실패 전까지 많은 token을 사용했다면 계획 이탈, context 팽창 또는 반복 디버깅이 주된 원인이 될 수 있다.
3. 재시도 증폭 계수
먼저 다음과 같은 단순한 버전을 정의할 수 있다.
retry_amplification = total_runs / successful_runs
성공이 100회인데 총 실행 횟수가 180회라면 계수는 1.8이다. 성공한 작업 1건당 평균 0.8회의 실패 또는 재시도 실행 비용이 추가됐다는 뜻이다.
더 세밀하게는 실패 원인을 테스트 실패, 도구 timeout, context 한도 초과, 권한 오류 등으로 나눌 수 있다. 원인이 다르면 각각 다른 해결 전략이 필요하다.
4. 실패 작업이 전체 예산에 기여하는 비중
failed_budget_share = failed_inference_spend / total_inference_spend
이번 연구에서는 이 비율이 64%였다.
이 비중이 계속 증가한다면 팀은 모델 routing만 조정해서는 안 된다. 다음 항목도 함께 점검해야 한다.
- 관련 없는 context를 너무 많이 Agent에 입력하고 있지 않은가
- 도구가 반환하는 오류에 구조화된 정보가 부족하지 않은가
- 재시도할 때 전략을 바꾸지 않고 같은 접근을 반복하고 있지 않은가
- Agent가 동일한 도구 호출을 연속으로 반복할 수 있도록 허용하고 있지 않은가
- 간단한 작업에 더 작은 모델을 사용하는 편이 낫지 않은가
- 검증 가능한 검사를 고비용 추론보다 앞당길 수 있지 않은가
직접적인 제어 방법으로는 동일한 도구 매개변수와 오류 결과에 대한 반복 호출 임계값을 설정할 수 있다. 예를 들어 같은 파일을 연속 두 번 읽지 못하면 Agent가 같은 요청을 반복하지 않고 접근 방식을 바꾸도록 요구한다. 구체적인 임계값은 프로젝트 환경에서 테스트해 정해야 하며 그대로 적용할 수는 없다.
운영 환경의 모니터링에서는 작업 유형별로 비용 기준선을 마련할 수 있다.
def is_cost_anomaly(cost, task_type, baseline):
median, mad = baseline[task_type]
return mad > 0 and cost > median + 3 * mad
이때 평균과 표준편차 대신 median과 MAD를 사용한다. 몇몇 특히 비싼 실패 작업이 평균값을 지나치게 끌어올릴 수 있기 때문이다.
편집자 관점
27,280회 실행이 한 번의 benchmark보다 운영 환경의 청구서에 더 가깝다고 보는 이유는 표본 크기 자체가 아니라 실패 경로를 드러냈기 때문이다. 실제 시스템은 성공 사례만 남겨 두지 않는다. 대량의 실패, 반복적인 계획 수립, 재시도는 모두 비용이 발생하지만, 평소에는 총 token 수에 묻혀 개별 지출로 인식되지 않는다.
다음 단계의 AI Agent 평가는 모델별 성공률 순위만 제시하는 대신 ‘성공한 작업 1건당 총비용’을 직접 최적화해야 한다. 그러면 팀은 모델, prompt, 도구 설계, 재시도 전략을 함께 개선하게 된다. 이는 과거의 코드 benchmark와 다르다. 과거 benchmark는 한 번의 성공을 보상했지만, Agent 시스템에서 실제로 희소한 것은 안정적이고 저렴하며 재현 가능한 결과다.
다만 64%라는 수치를 모든 팀의 예산 기준으로 삼아서는 안 된다. 작업 난이도, 모델 가격, 도구 비용, timeout 정책에 따라 비율은 달라진다. 이번 실행이 충분히 다양한 저장소 유형과 운영 트래픽을 포괄했는지도 아직 명확하지 않다. 따라서 64%를 보고 곧바로 모델을 교체하기보다 실패 원인별로 비용을 분해한 뒤 최적화 대상을 정하는 편이 안전하다.