도구

Parsimony, 새로운 코드 벤치마크 등장 — '줄 수'가 아니라 '순증'을 본다

기존 AI 코딩 벤치마크는 버그를 잘 고치는지만 측정했지만, Parsimony는 모델이 남긴 불필요한 코드까지 점수에 반영한다. 작성자가 직접 GPT-6과 Claude 5.5까지 돌려 데이터를 채운 오픈소스 프로젝트다.

글자 크기

AI가 코드를 짜는这件事, 지난 2년 동안 평가 체계는 거의 한 가지 질문에만 답해왔다. 이 모델이 버그를 제대로 고칠 수 있는가?

고칠 수 있으면 순위가 오르고, 더 빠르고 적게 토큰을 쓰면 더 우대받는다. SWE-bench Verified, DeepSWE, SWE-bench Live 같은 주요 랭킹은 핵심 지표가 딱 두 종류다. solve rate와 비용.

그런데 한 가지 축은 계속 측정되지 못했다. AI가 이 버그를 고치고 나서, 필요 없는 코드를 얼마나 남겼는가?

Parsimony는 정확히 이 빈틈을 노리고 나왔다. 최근 Hacker News 1면에 올라왔는데, 핵심 아이디어는 한 문장이다. 줄 수를 세지 말고, coding units의 순증을 세라고.

기존 벤치마크가 놓치고 있던 한 가지

먼저 현황부터. SWE-bench Verified는 지금 가장 많이 인용되는 AI 코딩 랭킹이다. OpenAI, Anthropic, Google이 새 모델을 발표할 때마다 Verified 점수를 한 장씩 붙인다. DeepSWE는 Cognition(Devin 팀) 것이고, SWE-bench Live는 Princeton이 관리하는 롤링 버전이다.

이 세 랭킹이 보는 건 뭘까. pass rate다. 토큰 비용이다. 모델이顺便 레포에 얼마나 잡코드를 끼워 넣었는지는 아무도 안 본다.

현실 프로젝트에서는 이런 일이 매일 벌어진다. 본인도 Claude Code로 Next.js 프로젝트를 수정한 적이 있는데, 모델 solve rate는 만점인데 PR에 800줄이 더 붙어 나왔다. 절반은 안 쓰는 helper를 import한 것이고, 나머지는 다른 파일에 이미 있는 로직을 복붙해서 살짝 수정한 것이었다. 기능은 멀쩡한데, 다음 주에 인수받는 사람이 욕을 할 거라는 건 뻔했다.

이런 일을 지금 벤치마크는 완전히 잡아내지 못한다.

Parsimony는 '순 코드량'을 어떻게 측정하나

Parsimony의 방법 설명에 이런 문장이 있다. 이 프로젝트에서 제일 똑똑한 부분이라고 본다.

Deleted code is subtracted, so it measures net units.

즉 AI가 새로 쓴 코드만 세는 게 아니라, AI가 지운 코드는 총점에서 차감한다는 뜻이다. 최종 점수는 절대 줄 수가 아니라 coding units의 순증이다.

왜 그냥 줄 수를 안 셀까. 줄 수는 치트가 너무 쉽기 때문이다. 모델이 함수 안에 빈 줄 몇 줄 끼워 넣고, 의미 없는 주석만 몇 줄 붙이면 LoC가 바로 올라간다. LoC가 얼마나 형편없는 지표인지는 개발자라면 다 안다.

Parsimony는 대신 coding units를 센다. 구체적으로 네 종류다.

  • statements (문장)
  • calls (함수 호출)
  • names (변수/클래스/식별자 이름)
  • literals (리터럴, 문자열/숫자)

이건 AST에서 뽑아낸 진짜 '코드 밀도'지, 줄맞춤으로 부풀린 가짜 줄 수가 아니다.

치트를 치려면 AI가 실제로 의미 있는 구문 노드를 만들어내야 한다. 그러면 결국 코드를 쓰는 거나 마찬가지다. 측정 기준이 의미 층에 가까울수록 조작 여지가 줄어든다. 이 관점은 Simon Willison이 예전에 이야기한 '평가는 출력이 아니라 의도를 봐야 한다'와 같은 방향이다.

작성자가 직접 GPT-6과 Claude 5.5를 돌렸다

Parsimony의 데이터는 논문에서 베끼지 않았다.

프로젝트 페이지에 분명히 적혀 있다. GPT-6과 Claude 5.5는 공개된 patch가 없기 때문에, 작성자 본인이 모델을 직접 돌려 데이터를 채웠다.

이 사실 자체가 한 마디 더 언급할 가치가 있다. Anthropic과 OpenAI가 새 모델을 내는 속도가 이미 서드파티 벤치마크가 따라가는 속도를 넘어섰다. SWE-bench의 patch 데이터셋은 몇 달 전에 frozen된 것이고, 새 모델이 나오면 공식 데이터를 기다리든 커뮤니티가 직접 돌리든 둘 중 하나다. Parsimony의 작성자는 후자를 택했다. 이 부분 점수는 업체 내부 데이터와 차이가 있을 수 있다고 본인이 인정하지만, 적어도 데이터가 나오기 전까지 랭킹이 비어 있지는 않다.

오픈소스 평가 프로젝트에겐 이런 '내가 직접 채운다'는 태도가 꽤 중요하다.

장기 프로젝트에 이것이 의미하는 것

코드 비대화는 만성병이다.

오늘 solve rate 100%인 PR이, 석 달 뒤 인수받는 사람을 아프게 한다. 800줄이 더 붙은 그 코드는 결국 이렇게 변한다.

  • 아무도 못 지우는 '쓸모 있어 보이는' 함수
  • 복붙해 온 옛 로직
  • 조사용으로 박아둔 console.log와 디버그 분기
  • 임시방편인데 영원히 지워지지 않는 코드

하나하나가 다 기술부채다.

Parsimony의 가치는 '미래 유지보수 비용'을 오늘 바로 비교 가능한 숫자로 만든다는 데 있다. 엔지니어링 팀이 AI 코딩 도구를 고를 때 이제 채점 항목이 하나 더 생긴다. 버그를 고칠 수 있어야 할 뿐 아니라, 깔끔하게 고쳐야 한다.

이건 클라우드 업체가 나중에 추가한 '유효 쿼리 횟수 과금'과 같은 로직이다. 초기의 '호출당 과금'이 낭비를 부추겼다면, 후기의 '결과당 과금'은 최적화를 경쟁력이 만든다. AI 코딩 도구도迟早 이 단계까지 걸어갈 것이다.

편집자 생각

지금 모든 AI 코딩 랭킹이 solve rate로 줄다리기하고 있다.

이건 본질적으로 시험식 사고다. 답만 맞으면 되고, 얼마나 못생겨 썼는지는 상관없다. 하지만 진짜 엔지니어링은 시험이 아니다. 코드가 길수록 유지보수가 어렵다는 건 소프트웨어 공학 첫 수업에서 배운 건데, 지금까지 벤치마크에 들어가지 못했다는 게 좀 의외다.

Parsimony가 첫 발을 내디뎠지만, 한계도 분명하다. 지금은 단일 PR 단위에 머물러 있다. 파일을 넘나드는 영향은 안 본다(AI가 파일 5개를 건드려서 파일마다 20줄씩 지웠다면 순증이 0처럼 보이지만, 실제로는 모듈 경계가 이미 붕괴됐다). 가독성도 안 본다(변수명을 대충 짓든, 네임스페이스를 오염시키든, 이런 건 coding units로 못 잡는다).

하지만 방향은 맞다.

하나 남는 질문. Anthropic과 OpenAI가 순 코드량을 공식 랭킹에 넣는다면 업계가 어떻게 바뀔까? 모델 업체가 훈련에 '코드 간결함' reward를 넣을지, 아니면 그 점수만 맞추는 편법 모델이 나올지. 이게 또 한 번의 내卷(과열 경쟁)이 될 수도 있을까?

이건 본인이 예측할 수 없지만, 한 가지는 분명하다. 공식 랭킹이 코드 비대화에 페널티를 매기기 시작하면, AI 코딩 도구의 프롬프트 엔지니어링 무게중심이 '버그를 어떻게 정확히 고칠까'에서 '어떻게 코드를 적게 쓸까'로 옮겨갈 것이다. 그때가 되면 프롬프트 엔지니어들이 《Clean Code》를 펴게 될지도 모른다.


프로젝트 주소: https://parsimony.lasu.dev/
방법 요약: statements/calls/names/literals 네 종류 coding units를 집계하고, 삭제된 코드는 총점에서 차감

출처: https://parsimony.lasu.dev/