Cognition의 SWE-2가 Terminal-Bench 2.1에서 92.8점을 기록했다. 출처는 Cognition 공식이 아닌 서드파티 평가 사이트 tokenstead.ai(출처 링크)다. Hacker News 게시물은 29 포인트, 댓글 12개로 반응은 중간 이하 수준이었다.
점수 자체는 진짜지만, 의심할 부분도 적지 않다. 하나씩 살펴보자.
92.8점이 실제로 의미하는 것
Terminal-Bench 2.1은 흔한 코드 생성 테스트가 아니다. agent를 실제 Linux shell 환경에 넣고, 의존성 설치부터 테스트 실행, 버그 수정, 패치 제출까지 여러 단계를 거쳐 작업을 완수하게 만든다. 평가 기준은 '코드를 잘 짜는가'가 아니라 '주니어 엔지니어처럼 터미널에서 일할 수 있는가'다.
92.8점은 어느 정도 수준인가? Terminal-Bench의 기존 SOTA는 80점 근처에서 머물러 있었고, Claude Code, GPT-5, Devin 1.x 모두 그 구간에 있었다. 92.8점은 소폭 향상이 아니라 의미 있는 도약이다.
다만 한 가지 짚고 넘어갈 점이 있다. Terminal-Bench의 task 세트는 공개되어 있다. 비공개 모델이 이 벤치마크를 돌린다면, 학습 데이터에 '비슷한 유형의 문제가 포함되어 있었을 가능성'을 완전히 배제할 수 없다. 이 점수는 능력 상단에 대한 시그널에 가깝지, 실제 생산성을 증명한다고 보기는 어렵다.
사람 엔지니어 수준과 비교할 수 있는 인간 baseline 수치를 Terminal-Bench 측에서 본 적이 없다. 혹시 아는 사람이 있다면 알려주길 바란다.
이 성적의 의심스러운 부분
의심 1: 출처가 서드파티
tokenstead.ai가 뭔지 모르는 사람도 많을 텐데, 간단히 말하면 모델 평가만 따로 파는 사이트다. Cognition을 옹호할 의무도 없고, 점수를 낮게 누를 이유도 없다. 그렇다고 Terminal-Bench 공식 채널도 아니다. 이런 '비공식인데 공식처럼 보이는 데이터'는 신뢰도를 깎아서 봐야 한다.
의심 2: 비공개 모델 + 재현 불가
SWE-2는 오픈소스 모델이 아니다. 서드파티는 API 호출 결과만 받아볼 수 있고, 가중치, 학습 데이터, 프롬프트 템플릿은 확인할 방법이 없다. 이 구조에서 오는 문제는 명확하다.
- 다른 팀이 동일한 조건에서 재현할 수 없다
- 기존 모델을 '래핑만 한 것'인지, '증류(distillation)'를 거친 것인지 검증할 수 없다
- Terminal-Bench 전용 튜닝을 했는지 아닌지 확인할 수 없다
의심 3: 재현에 필요한 자료가 부재
Cognition 측에서 평가 로그, 프롬프트, 툴체인 설정을 통째로 공개했는가? HN 게시물(HN item?id=49646778) 기준으로는 확인되지 않았다. Cognition이 이 성적을 진지하게 받아주길 원한다면, 공개 가능한 자료를 최대한 다 내놓아야 한다.
모델 덕분인가, 툴셋 덕분인가, 엔지니어링 구조 덕분인가
Devin 1.0 시절에 Cognition은 '기반 모델 + agent 프레임워크' 조합을 내세웠다. SWE-2의 92.8점이 모델 자체만으로 나온 결과일 가능성은 낮다.
실제로 기여했을 세 가지 개선 지점은 이렇다.
- Shell 상태 관리가 더 안정적
agent가 여러 단계 작업을 수행할 때 가장 많이 무너지는 지점이 바로 '상태'다. 직전 명령이 환경 변수를 바꿔놓으면, 다음 명령이 그대로 터진다. SWE-2가 Anthropic의 sandboxed bash나 Docker 격리처럼 신뢰성 있는 shell sandbox를 갖추고 있다면, 점수에 직접 반영됐을 가능성이 크다. - 에러 복구 로직이 더 똑해짐
실패했다고 해서 전부 재시도하거나 전부 포기할 수는 없다. 잘 만든 agent라면 transient error(네트워크 지연, 타임아웃)와 permanent error(로직 오류, 컴파일 실패)를 구분한 뒤 서로 다른 복구 전략을 취한다. - 컨텍스트 압축을 더 공격적으로 적용
장기 작업에서는 컨텍스트가 빠르게 한계에 도달한다. SWE-2는 현재 task와 관련된 history만 남기고 노이즈를 잘라내는, 보다 거친 truncation·요약 전략을 도입했을 가능성이 있다.
이런 변화들은 화려해 보이지 않지만, agent가 실제 업무를 처리할 수 있느냐를 가르는 핵심 요소다.
Hacker News가 크게 반응하지 않은 이유
29 포인트, 댓글 12개. 'Terminal-Bench 2.1 SOTA 경신' 성적치고는 화제성이 낮다. 원인은 대략 세 가지로 추정된다.
- 커뮤니티 신뢰도 소진
Cognition은 Devin 상용화 과정에서 한차례 논란을 겪었다. 초기 데모와 실제 사용 경험 사이의 괴리가 컸고, 일부는 실망을 표했다. 그런 감정이 SWE-2 논의에도 그대로 묻어난다. - 비공개 agent 평가의 구조적 한계
HN의 기술 독자층은 '오픈소스, 재현 가능'에 강한 선호를 보인다. 비공개 모델이 비공개 벤치마크에서 고점을 찍었다 쳐도, 논의할 거리가 많지 않다. - 벤치마크 피로
AI benchmark 뉴스가 요즘 한 주에도 몇 건씩 쏟아진다. 'X 모델이 Y 벤치마크 신기록'이라는 식의 발표가 반복되면서 사람들이 점차 무감각해졌다. Terminal-Bench도 업계에서 가장 주목받는 벤치마크는 아니라서, 화제성 천장 자체가 낮다.
편집자 소견
서드파티 평가와 공식 발표 사이의 무게중심이 서드파티 쪽으로 옮겨가고 있다. 이전에는 OpenAI, Anthropic의 공식 benchmark 결과를 그대로 믿는 분위기였지만, 지금은 독립적이고 재현 가능한 서드파티 데이터를 더 신뢰하는 사람이 늘고 있다. Cognition이 이번에 자사 블로그 대신 tokenstead.ai를 통한 경로를 택한 것도 그 흐름의 한 단면으로 읽힌다.
비공개 agent 평가에 대한 신뢰 위기—이것이 이번 사건의 더 깊은 층이다. 모델이 비공개인 건 사업상 이해가 간다. 하지만 평가 방법은 공개되어야 하고, 프롬프트는 공개되어야 하고, 툴체인은 감사 가능해야 한다. 그게 안 되면 92.8점과 92.8점은 비교 자체가 불가능하고, 숫자는 그저 숫자일 뿐이다.
AI 소프트웨어 엔지니어赛道에 미칠 영향: SWE-2가 실제로 90점대를 안정적으로 유지한다면, Devin의 상용화 서사는 다시 받쳐줄 받침을 얻는다. 'AI 소프트웨어 엔지니어'는 더 이상 슬라이드 속 그림이 아니라, 실제 사용에 근접한 도구가 된다. 다만 그 '만약'이 사실이려면 독립 검증이 따라와야 한다. 개인적으로는 중립에서 살짝 의심 쪽에 기울어 있다. 단일 벤치마크 고점과 end-to-end 사용 가능성 사이에는 제품, UX, 안정성이라는 세 개의 벽이 여전히 남아 있기 때문이다.
과거의 다른 케이스와 비교하면 이번 흐름은 색다르다. GPT-5, Claude 4.5처럼 '공식 발표 + 전網 폭발'의 루트가 아니라, 서드파티 소규모 확산의 루트를 밟았다. 공식이 선점하지 않고 서드파티가 먼저 검증하게 두는, 새로운 형식이 자리 잡을 수도 있다는 뜻이다.
아직 결론을 못 내린 부분도 있다. Terminal-Bench의 task 세트가 차세대 agent들에 의해 '빠르게 분석당해' 점수 인플레이션이 발생하지는 않을지. 이 부분은 지켜봐야 알겠다.