프레임워크

Terminal-Bench-Science: AI 에이전트, 이제 직접 실험을 돌릴 수 있을까

Terminal-Bench가 코드 작성 평가에서 한 발 더 나아가, 생물학·재료과학·머신러닝 80여 개 실제 과업으로 에이전트의 과학 연구 수행 능력을 측정하기 시작했다. 과연 이 벤치마크가 에이전트 분야판의 SWE-bench가 될 수 있을지 살펴봤다.

글자 크기

Terminal-Bench는 이미 익숙한 이름일 것이다. 기존에는 터미널 환경에서 코드를 작성하고 명령어를 실행하는 에이전트의 능력, 즉 범용 프로그래밍 과업을 수행할 수 있는지를 평가했다. 하지만 이 프레임워크를 만든 사람들은 그것만으로는 부족하다고 판단했다. 「코드를 작성할 수 있는가」는 더 이상 에이전트를 가르는 기준이 되지 못하며, 진짜 분기점은 「완전한 연구 워크플로우를 돌릴 수 있는가」라는 쪽으로 옮겨가고 있다.

그 연장선에서 등장한 것이 Terminal-Bench-Science다. AI 에이전트가 과학 연구 워크플로우에서 어떤 성능을 보이는지를 평가하기 위해 만들어졌으며, 완전히 새로운 프레임워크가 아니라 기존 Terminal-Bench를 확장한 형태다. 과업 시나리오가 「정렬 알고리즘 짜기」에서 「생물정보학 논문의 결과를 재현하기」로 바뀐 것이다.

공개 첫날 Hacker News 메인에 올랐고, 20포인트와 댓글 4개를 받았다. 새 벤치마크치고 나쁘지 않은 출발이다.

이 벤치마크가 실제로 측정하는 것

먼저 Terminal-Bench-Science와 SWE-bench, GAIA의 차이를 정리하겠다.

SWE-bench는 GitHub 이슈를 보고 코드를 수정하고 버그를 고르는 능력을 측정한다. 입력은 이슈 설명과 코드 저장소, 출력은 패치다. GAIA는 좀 더 범용적인데, 「여러 단계 추론과 도구 호출이 필요한」 일상적인 문제를 에이전트가 해결할 수 있는지를 본다.

Terminal-Bench-Science는 결이 다르다. 에이전트가 전체 연구 워크플로우를 처음부터 끝까지 완수할 수 있는지를 본다. 논문 읽기 → 데이터 찾기 → 환경 구축 → 코드 작성 → 실험 실행 → 에러 처리 → 결과 산출 → 해석에 이르는 전 과정이 평가 대상이며, 어느 단계에서든 막힐 수 있다.

공개 페이지의 표현을 빌리면, 「단일 능력을 보는 게 아니라 엔드 투 엔드 워크플로우를 본다」는 것이다. 즉, 고립된 스킬에서 몇 점을 따는지보다 실제 연구 현장에서 일을 끝까지 마무리할 수 있는지가 핵심이다.

과업 구성: 80여 개 실제 연구 과제

벤치마크에는 80여 개 과제가 세 가지 분야로 나뉘어 들어 있다.

  • 생물학: 유전자 서열 분석, 단백질 폴딩 결과 처리, 단일세포 시퀀싱 데이터 시각화
  • 재료과학: 결정 구조 계산, 제일원리 시뮬레이션 스크립트 작성
  • 머신러닝: 논문 실험 재현, 벤치마크 스코어 산출, 데이터셋 정제

각 과제는 「함수 하나 작성하기」 정도가 아니라 샌드박스 터미널에서 수십 단계를 연속적으로 조작해야 완료할 수 있는 수준이다. 샘플 과제 몇 개를 살펴보니, 평균적으로 셸 명령어와 Python 코드, 파일 읽기/쓰기를 20~50회 호출해야 했다.

과제 출처도 흥미로운데, 대부분은凭空 설계된 벤치마크 퍼즐이 아니라 실제 연구 현장에서 추출한 시나리오다. 이 부분이 중요하다. 많은 에이전트 평가가 「과제가 너무 장난감 같다」고 비판받곤 하는데, Terminal-Bench-Science는 적어도 「현실성」 항목에서 감점은 면했다.

예를 들어 공개 페이지에 나온 과제 하나를 보자.

과제: 공개된 scRNA-seq 데이터셋에서 출발해 논문의 Figure 3 UMAP 클러스터링 그래프를 재현하라. 에이전트는 데이터 소스를 스스로 찾고, scanpy를 설치하고, 파이프라인을 돌리면서 메모리 오버플로우를 해결한 뒤 비교 가능한 그래프를 그려야 한다.

사람이 직접 하면 몇 시간 걸리는 작업이며, 에이전트에게는 결코 가벼운 시험이 아니다.

현재 모델 성능: 「쓸모 있는 연구助手」까지 남은 거리

공개 페이지에 실린 초기 결과는 솔직히 씁쓸하다.

주요 에이전트들이 Science 서브셋에서 보여준 정확도는 전반적으로 높지 않다. 전체 표는 확인하지 못했지만, 공개 페이지의 설명을 보면 SWE-bench에서의 60% 이상 성적과 비교하면 한참 아래였다.

GPT-5, Claude 4.5, Gemini 2.5 모두 돌렸는데 「눈에 띄는」 결과는 나오지 않았다. 가장 흔한 실패 패턴은 다음과 같다.

  1. 환경 설정에서 바로 막힘 — 과학 계산용 의존성이 많고, conda 환경, CUDA 버전, Python 패키지 바이너리 호환성 어디서든 에이전트가 같은 자리에서 맴돌게 된다
  2. 장기 과제 중 목표를 잃음 — 30단계쯤 되면 첫 단계에서 무엇을 하려 했는지를 잊는다
  3. 에러 메시지를 해석하지 못함 — 과학 도구의 에러는 출력이 매우 긴 편인데, 에이전트가 핵심 포인트를 잡아내지 못한다

이 결과가 이 모델들이 「못한다」는 뜻은 아니다. 오히려 다음을 시사한다: 연구 워크플로우의 복잡도는 코드를 작성하는 것보다 한 차원 높다.

코드 작성은 패턴 매칭으로 어느 정도 되지만, 연구 실험을 돌리려면 에이전트가 동시에 도메인 지식, 도구 스택, 데이터 포맷, 통계적 의미까지 이해해야 한다. 이건 단순한 코딩 능력만으로 해결되는 영역이 아니다.

지금 이 일이 중요한 이유

2026년 에이전트 평가에는 분명한 흐름이 있다. 「코드를 수 있는가」에서 「실제 문제를 풀 수 있는가」로 무게중심이 옮겨가고 있다는 점이다.

몇 가지 이정표를 꼽으면 다음과 같다.

  • MLE-Bench: Kaggle 대회의 엔드 투 엔드 재현
  • LAB-Bench: 생물학 실험 설계와 결과 해석
  • ScienceBoard: 멀티모달 과학 추론

Terminal-Bench-Science는 이 흐름 위의 구체적인 조각 하나다. 위 벤치마크들과의 차별점은 「터미널 네이티브」라는 점이다. 에이전트는 통제된 API 래퍼에서 버튼을 누르는 게 아니라 실제 명령줄 환경에서 과제를 완수해야 한다. 현실에서 연구자가 사용하는 환경 자체가 터미널이기 때문에 이 부분은 의미가 크다.

다만 명백한 한계도 있다.

  • 과제 규모가 80여 개인데, SWE-bench의 2000여 개와 비교하면 한 자릿수 차이다
  • 분야 커버리지가 여전히 좁다 — 생물, 재료, ML만 있고 화학·물리·지구과학은 아직 손대지 않았다
  • 평가 지표가 단일하고 「완전 성공」「부분 성공」을 구분하지 않는다

따라서 「Terminal-Bench-Science가 연구 에이전트의 SWE-bench다」라고 말하기에는 아직 이르다.

편집자의 생각

이런 종류의 벤치마크에서 가장 큰 가치는 순위가 아니라 에이전트의 실제 약점을 드러내는 데 있다.

Terminal-Bench-Science에 한정해 보면, 「또 하나 추가된 SOTA 테스트」보다는 세 가지 의도적으로 확대된痛点이 보인다.

  1. 장기 추론의 취약성: 30단계 이상의 워크플로우에서 에이전트는 거의 필연적으로 딴생각을 한다. 한 번의 추론 능력이 부족한 게 아니라 「여러 단계 추론을 줄줄이 연결하는」 문제가 진짜 해결되지 않았다.
  2. 도구 호출의 내결함성 부재: 과학 도구 스택은 한 글자만 잘못되어도 완전히 멈출 수 있는데, 에이전트에게는 「폴백 + 롤백 + 경로 전환」 전략이 부족하다.
  3. 과학 상식의 결여: 실패의 상당수는 코드 오류 때문이 아니라, 「이 도메인에서는 이렇게 하면 안 된다」를 에이전트가 모르기 때문에 발생한다. 코드는 돌아가지만 물리적으로 의미 없는 결과가 나온다.

SWE-bench에서 1% 더 긁어모으는 것보다, 「도구를 쓸 줄 아는 수준」과 「연구를 진짜 이해하는 수준」을 가를 수 있는 테스트장이 더 절실하다. Terminal-Bench-Science는 그 방향으로 한 발 내디딘 것이고, 과제 규모와 분야 커버리지가 아직 좁기 때문에 결론적인 판단은 6~12개월 뒤로 미뤄야 한다.

내 예상으로는, 앞으로 12개월 안에 화학·지구과학·천문 분야에서 적어도 3개 정도의 「도메인 네이티브 벤치마크」가 추가로 등장할 것이다. 그 가치는 모델을 랭킹 매기는 데 있지 않고, 에이전트를 「코딩 도구」에서 「연구 도구」로 진화시키는 압력에 있다.

참고 자료: Terminal-Bench-Science announcement

출처: https://www.terminal-bench-science.ai/announcement