의견

DeepSWE의 고득점 이후, AI Agent 벤치마크는 신뢰할 수 있는가

MaxxBench는 DeepSWE의 높은 점수가 실제로 Implicit 과정을 거쳐 재현 가능한지 질문한다. 코드 Agent 벤치마크의 네 가지 공백을 분석하고, 재현 가능한 평가와 작업 단위 보고를 제안한다.

글자 크기

MaxxBench는 DeepSWE의 성적을 그대로 인용하지 않고 다음과 같이 물었다. “Nice DeepSWE score. But is it true?” 논쟁은 순위에만 머물지 않는다. 더 중요한 문제는 이 리더보드가 실제이고 재현 가능한 소프트웨어 엔지니어링 능력을 측정할 수 있는가이다.

높은 점수를구하고 celebrate부터 하자

코드 Agent 리더보드에 또urtle의 새로운 높은 점수가 등장했다.

MaxxBench는 이후 연구 글 《Why MaxxBench》를 공개했으며, DeepSWE의 성적을 반복하는 대신 먼저 한 가지를 물었다.

“Nice DeepSWE score. But is it true?”

이 문장은 매우 절제되어 있지만 무게가 크다.

DeepSWE가 결과를 조작했다고 직접 말하거나, 특정 점수를 무효라고 선언한 것은 아니다. 더 근본적인 문제를 묻는다. Agent가 제출한 결과는 정말로 해당 작업을 완수한 것인가.

MaxxBench는 AI 소프트웨어 엔지니어링 Agent의 성능을 평가한다. 현재 공개된 요약을 보면 연구 초점은 DeepSWE의 높은 점수가 실제로 Implicit 과정을 거쳐 재현 가능한지다. 원문 링크는 다음과 같다.

이 연구는 Hacker News 메인 페이지에 올라가 77점과 15개의 댓글을 받았다.

개발자가关心하는 것은 누가 1위인지가 아니었다. 그들이 더 궁금해한 건 이런 리더보드가 앞으로도 Agent의 실제 능력을 구분할 수 있을지 여부였다.

먼저 경계를 명확히 해야 한다. 현재 공개된 요약에는 DeepSWE의 구체적인 점수, 작업 샘플, 재현 횟수, 환경 설정이 모두 공개되지 않았다. 따라서 이 자료만으로 DeepSWE의 성적이 조작되었다고 판단할 수는 없다.

하지만 ‘조작의 증거가 없다’는 ‘높은 점수의 신뢰성이 입증되었다’는 뜻이 아니다.

두 가지는 구분해야 한다.

벤치마크가 측정하는 것은 문제 풀이인가, 엔지니어링인가

코드 Agent 벤치마크는 일반적으로 소프트웨어 저장소, Issue, 테스트 모음을 제공한다. Agent는 코드를 수정해 결과를 제출한다. 테스트를 통과하면 작업이 완료된 것으로 처리된다.

이 방식은 자동 평가에 적합하지만 측정되는 대상이 ‘문제 풀이’일 뿐, 완전한 ‘엔지니어링’이 아닐 수 있다.

최소한 네 가지 층위로 나누어야 한다.

첫 번째는 요구사항 이해다.

Issue에는 ‘사용자 내보내기 실패를 수정’이라고 적혀 있지만, Agent는 기존 테스트가 통과하도록 만들기만 하고 빈 파일, 대용량 파일, 권한 오류, 비정상 인코딩은 처리하지 않았을 수 있다. 테스트가 다루지 않았다는 것은 요구사항이 충족됐다는 뜻이 아니다.

두 번째는 코드 정당성이다.

공개 테스트를 통과했다는 것은 공개 샘플이 단언을 만족한다는 뜻일 뿐이다. 숨겨진 테스트는 경계 조건, 동시성 문제, 기존 기능의 회귀를 다룰 수 있다.

세 번째는 유지보수성이다.

테스트를 통과하기 위해 Agent는 로직을 복제하거나 검증을 우회하고, 입력을 하드코딩하거나, 잘못된 추상화 계층에 수정 사항을 몰아넣을 수 있다. 이후 새로운 요구사항이 들어오면 유지보수 비용은 계속 증가한다.

네 번째는 바로 전달 가능한 능력이다.

코드가 컴파일된다는 것과 배포할 수 있다는 것은 다르다. 배포할 수 있다는 것과 문제를 진단할 수 있다는 것도 다르다. 로컬 스크립트가 실행된다는 것과 CI, 컨테이너, 의존성 버전 변화가 있어도 안정적으로 동작한다는 것도 다르다.

실제 소프트웨어 엔지니어링은 ‘테스트를 초록색으로 바꾸는 일’ 한 가지가 아니다. 코드를 읽고, 경계를 찾고, 여러 모듈을 수정하고, 부작용을 검증하며, 다른 사람이 이해할 수 있는 변경을 남기는 과정이 포함된다.

따라서 Agent 벤치마크는 최소한 다음 두 가지를 함께 보고해야 한다.

  • 작업이 테스트를 통과했는가
  • 작업이 요구사항대로 완료됐는가

첫 번째 숫자만 있다면 그 결과는 코드 수정 대회와 더 가깝다. 가치가 있기는 하지만 실제 소프트웨어 엔지니어링 능력 순위라고 부를 수는 없다.

점수보다 중요한 재현성 공백

Agent 실행 한 번을 평가하려면 최소한 다음 변수들을 고정해야 한다.

변수 중요한 이유
모델과 버전 API 모델은 조용히 업데이트될 수 있어 이름이 같은 모델도 더 이상 동일한 가중치를 사용하지 않을 수 있다
Prompt와 컨텍스트 시스템 프롬프트에 따라 Agent의 동작이 달라질 수 있다
도구 권한 인터넷 연결, 전체 저장소 접근, 임의 명령 실행 가능 여부가 결과를 직접 좌우한다
도구 구현 shell, 편집기, 검색, 테스트 도구의 차이가 실행 궤적에 영향을 준다
저장소 스냅샷 메인 브랜치가 바뀌면 Issue와 의존성도 달라질 수 있다
의존성 환경 Python, Node.js, 컴파일러, 시스템 패키지 버전은 고정해야 한다
점수 스크립트 테스트의 완전성과 단언의 정확성이 최종 점수를 결정한다
재시도와 예산 재실행 횟수, token 상한, 시간, 비용을 규칙에 명시해야 한다

여기에는 매우 현실적인 문제가 있다.

많은 Agent 리더보드는 작업 세트와 최종 점수는 공개하면서도 전체 실행 기록은 공개하지 않는다. 다른 사람은 ‘90점’만 보게 되고, 어떤 모델 스냅샷을 사용했고, 어떤 도구를 호출했고, 어떤 파일을 수정했으며, 테스트를 몇 번 실행했는지는 볼 수 없다.

이는 ‘ mystification”的问题이라는 문제가 아니라 실험 설계의 문제다.

재현할 수 없는 결과는 서로 다른 대상을 비교하는 책임을 수행할 수 없다.

더 확실한 방법은 모든 실행을 구조화된 기록으로 저장하는 것이다. 최소한 모델 설정, 컨테이너 이미지 다이제스트, 저장소 commit, 도구 목록, 예산 제한, 최종 diff, 점수 로그를 포함해야 한다.

예를 들어 평가 주체는 실행마다 manifest를 생성할 수 있다.

{
  "task_id": "export-empty-file",
  "repository_commit": "0123456789abcdef",
  "model": "provider/model@2026-08-01",
  "system_prompt_sha256": "<64位十六进制摘要>",
  "docker_digest": "sha256:<镜像摘要>",
  "tool_permissions": ["read_repo", "edit_repo", "run_test"],
  "max_steps": 50,
  "max_cost_usd": 5.0,
  "score_script_sha256": "<64位十六进制摘要>"
}

모든 Agent가 자신의 상업적 내부 데이터를 공개하라는 요구는 아니다. 재현 가능한 공개 부분 집합만 제공하더라도 전체 순위표 하나만 발표하는 것보다 유용하다.

HN 토론이 벤치마크 실패에 집중된 이유

이 연구는 Hacker News 메인 페이지에 올라가 77점과 15개의 댓글을 받았다.

토론은 특정 모델의 승패에 머물지 않고 벤치마크의 실패에 집중했다.

이유는 이해하기 어렵지 않다.

개발자는 매일 GitHub Issue, CI 실패, 운영 환경 trace를 본다. 그들에게 Agent가一道題를 통과하는 것과 실제 저장소를 떠안고 해결할 수 있는 것은 전혀 다른 문제다.

공개 테스트에는 전형적인 문제가 하나 더 있다. 테스트 자체가 최적화 대상이 된다는 점이다.

Agent는 평가기의 형태를 학습한다. 숨겨진 테스트는 공개 단언을 악의적으로 공략하기는 더 어렵지만, 그저 요구사항 검증을 대신할 수 없다는 사실은 변하지 않는다. 저장소가 크고 테스트가 완전할수록 테스트 통과와 올바른 구현 사이의 거리는 대체로 가까워진다. 하지만 규모가 작고 경계 조건이 드문 작업에서는 그 거리가 매우 클 수 있다.

다른 문제는 작업 난이도와 Agent 능력이 함께 변한다는 점이다.

오늘은 어떤 Issue를 통과할 수 있지만, 내일은 검색 전략, 백엔드 모델, 도구 래퍼가 달라질 수 있다. 리더보드가 모델을 비교하는 것처럼 보여도 실제로는 모델, 도구, scaffolding, 예산의 조합을 비교한다.

벤치마크가 가치 없다는 뜻은 아니다.

통일된 작업이 없으면 Agent 개발조차 방향을 잡기 어렵다. 벤치마크는 여전히 필요하다. 다만 자격증 인증이 아니라 실험실로 활용해야 한다.

새 리더보드로 문제를 대신하지 말자

Agent 평가는 다음에 무엇을 해야 하는가.

첫째, 숨겨진 테스트를 유지하되 유일한 판정자로 삼지 않아야 한다.

숨겨진 테스트는 공개 단언을 악의적으로 공략하는 행위를 줄일 수 있다. 사람의 검증은 요구사항 범위, 코드 품질, 부작용을 확인하는 데 필요하다. 둘을 결합해야 하며, 서로를 대신할 수는 없다.

둘째, 실제 역사 코드가 담긴 저장소를 포함해야 한다.

작업은 실제 Issue에서 가져오고 여러 commit, 연결된 PR, 회귀 테스트, 이전 버전의 동작을 함께 담는 것이 좋다. Agent가 읽어야 하는 것은 현재 디렉터리뿐 아니라 시간에 따른 변화가 있는 시스템이다.

셋째, 전체 궤적을 기록해야 한다.

최종 diff뿐 아니라 도구 호출, 테스트 출력, 실패 후 재시도, 의사결정 로그도 저장해야 한다. 그래야 Agent가 문제를 찾아 수정한 경우와 우연히 테스트를 맞힌 경우를 구분할 수 있다.

넷째, 여러 번 실행한 결과를 공개해야 한다.

한 번의 성공은 난수와 환경 변동의 영향을 쉽게 받는다. 가장 좋은 한 번만 제시하는 대신 최소한 실행 횟수, 성공률, 신뢰구간을 보고해야 한다.

다섯째, 점수 항목을 분리해야 한다.

테스트 통과율, 사람의 검증 통과율, 평균 비용, 평균 소요 시간, 도구 호출 횟수,无效한 수정 횟수 등을 각각 보여줘야 한다. 그래야 개발자가 어떤 Agent가 ‘더 정확한지’, ‘더 비싼지’를 판단할 수 있다.

나는 최종 리더보드를 작업 단위 보고서로 만드는 편이 낫다고 본다.

Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s

이런 보고서는 화려하지 않다. 하지만 엔지니어링 팀이 실제로关心하는 질문에 답해 준다.

편집자 생각

이번 이슈에서 중요한 것은 DeepSWE의 점수만이 아니다. AI Agent가 실제 소프트웨어 작업에 대한 경쟁에 진입했다는 점이다. 따라서 논쟁의 초점은 ‘모델이 설명을 쓸 줄 아는가’에서 ‘엔지니어링 과정을 검증할 수 있는가’로 옮겨 갔다.

过去에는 모델 발표 자료만 봐도 그 안에 엄선된 샘플이 있다는 사실을 알았다. 이제는 Agent 리더보드를 보면서 한 번의 실행 기록을 안정적인 능력으로 오인할 수 있다. 차이가 바로 여기에 있다. Agent의 답은 일련의 전체 조작 사슬이며, 저장소 상태, 도구 권한, 재시도 전략이 모두 결과에 영향을 준다.

하지만 현재 공개된 요약에는 구체적인 점수, 샘플 수, 재현 횟수, 환경 설정이 부족해 DeepSWE가 리더보드를 조작했다고 단정할 수 없다. 내 판단은 다음 세대 Agent 벤치마크의 승패를 결정하는 요소가 총점을 더 높인 리더보드를 또 하나 고르는 일이 아니라, 누가 작업, 궤적, 실패 원인을 제3자가 재실행해도 검증할 수 있게 만드는가에 있을 있다는 점이다.

출처

출처: https://maxxbench.unlap.ai/research/why-maxxbench/