거대 언어 모델

Gemini 4 Neon, MEI 1위: 성능 점수가 아닌 엔지니어링 평가

Gemini 4 Neon이 Models Engineering Index 1위에 오르며 주목을 받고 있다. MEI의 과제 구성과 평가 방식, 주요 쟁점을 살펴보고 실제 서비스에 활용할 수 있는 모델 선택 절차도 함께 정리한다.

글자 크기

Gemini 4 Neon이 Models Engineering Index 1위에 올랐다. MEI의 과제 구성과 평가 방식, 주요 쟁점을 살펴보고 실제 서비스에 적용할 수 있는 모델 선택 절차도 함께 정리한다.

1위라는 결과가 모든 능력의 1위라는 뜻은 아니다

원문 제목은 다음과 같이 명시적이다. “Gemini 4 Neon is the new #1 on the Models Engineering Index.”

이 문장은 “Gemini 4 Neon이 모델 순위 1위에 올랐다”로 옮기기 쉽다. 그러나 그렇게 요약하면 가장 중요한 한정어인 ‘Engineering’을 놓치게 된다.

전통적인 benchmark는 대체로 모델의 능력을 고정된 데이터셋, 고정된 문제, 고정된 채점 방식에 따라 하나의 숫자로 압축한다. 높은 점수는 보통 특정 유형의 과제에서 모델이 좋은 결과를 냈다는 의미다. 하지만 실제 운영 시스템이 중시하는 요소는 훨씬 많다.

  • 도구를 정확히 호출할 수 있는가
  • 출력 형식을 엄격히 따르는가
  • 장시간 과제에서도 제약을 유지하는가
  • 실패한 뒤 오류 메시지를 바탕으로 수정할 수 있는가
  • 응답 시간과 호출 비용이 허용 범위에 들어오는가
이러한 능력은 객관식 문제 하나로 측정하기 어렵다.

따라서 Gemini 4 Neon이 MEI에서 1위에 올랐다는 것은 해당 측정이 포함하는 엔지니어링 과제에서 전반적으로 가장 좋은 결과를 냈다는 뜻이지, 곧바로 “모든 업무에서 최적”이라는 의미로 확대할 수는 없다. 이는 결론을 축소하는 것이 아니라, 결론을 적용할 수 있는 지표의 범위 안에 두는 일이다.

MEI는 무엇을 측정하는가

MEI榜单 주소: https://git-aarvin.github.io/mei/

Models Engineering Index는 정적인 문항 모음 대신 계속 업데이트되는 엔지니어링 과제를 사용한다. 그 설계는 네 가지 관점으로 살펴볼 수 있다.

1. 과제의 목표는 ‘정답 생성’에서 ‘결과 전달’으로

엔지니어링 과제는 한 번의 생성으로 끝나지 않는 경우가 많다. 모델은 입력을 읽고, 도구를 호출하고, 결과를 확인하고, 오류를 처리한 다음, 정해진 제약에 따라 결과를 전달해야 한다.

이런 과제는 AI Agent의 업무 방식에 더 가깝다. 최종 성공 여부도 텍스트 유사도로만 결정되지 않고, 전체 프로세스가 끝까지 완료되었는지를 기준으로 판단한다.

2. 단일 점수에서 여러 제약 조건으로

어떤 모델은 코드를 잘 작성하지만 지정된 schema에 맞춰 응답하는 것을 자주 잊는다. 반대로 정답이 맞더라도 출력 길이가 지나치게 길어질 수도 있다. 엔지니어링 평가에서는 이러한 요소를 분리해야 한다. 그렇지 않으면 종합 점수가 구체적인 약점을 가려 버린다.

운영 팀 입장에서는 이런 지표가 “인간 시험 문제에서 몇 점 더 높은가”보다 직접적인 정보를 제공한다.

  • 성공률
  • 형식 준수율
  • 도구 호출 정확률
  • 지연 시간
  • token 및 실제 호출 비용
  • 재시도 후 수렴 여부

3. 과제 모음은 계속 바뀐다

정적인 benchmark는 공개된 뒤 시간이 지나며 효력이 떨어지기 쉽다. 연구자가 prompt를 조정하고, 업체가 샘플을 선별하며, 학습 데이터에 시험 문제가 섞일 수도 있다. 시간이 충분히 지나면 점수 상승이 반드시 능력 상승을 의미하지 않게 된다.

지속적으로 업데이트되는 엔지니어링 과제는 이런 오염을 완화할 수 있다. 문제를 완전히 없애지는 못하더라도, 평가를 일회성 시험에서 점진적인 회귀 테스트로 전환하는 데는 도움이 된다.

물론 동적 과제에는 새로운 문제도 생긴다. 서로 다른 시점에 실행한 결과를 재현할 수 있는가. 채점 프로그램이 충분히 안정적인가. 실패한 원인이 모델이 아니라 도구, 네트워크 또는 무작위성에 있는가.

MEI를 계속 관찰할 필요가 있는 이유가 여기에 있다.

4. Prompt와 샘플도 결과에 영향을 준다

운영 환경에 가까운 과제라도 결국 평가자가 설계한 과제다.

과제 설명이 너무 길면 긴 context를 따라가는 능력에 더 가까운 결과가 나올 수 있다. 샘플이 한 가지 표현 방식만 담고 있으면 문장을 바꾸었을 때 성공률이 떨어질 수 있다. system prompt를 특정 스타일로 고정하면 다른 모델에게도、公平하게 능력을 발휘할 공간이 보장되지 않을 수 있다.

따라서 MEI의 어떤 과제가 실제 업무 흐름에서 가져왔는지, 어떤 과제를 사람이 단순화했는지, 가중치는 어떻게 정해졌는지, 실패 사례가 공개되는지, 같은 모델을 반복 실행했을 때 점수가 얼마나 안정적인지가榜单 신뢰도에 직접 영향을 준다.

榜单 이름의 ‘Engineering’은 방향을 보여줄 뿐, 방법론에 아무런 허점도 없다는 것을 자동으로 보장하지는 않는다.

104점 논쟁이 드러낸 문제

이 Hacker News 홈페이지 콘텐츠에는 104 points와 52개의 댓글이 표시돼 있다.

원문 댓글 주소: https://news.ycombinator.com/item?id=50568130

104점은 개발자들이和精神적으로讨论할 만큼 뜨거웠다는 뜻이다. 52개의 댓글은 논쟁이 단순히 모두가 동의한 칭찬은 아니었다는 뜻이기도 하다. 높은 논의량은 높은 신뢰도와 같지 않다.

이런 엔지니어링榜单은 자연스럽게 다음과 같은 질문을提起한다.

  • 순위가 하나의 종합 점수에 지나치게 의존하는가
  • 가중치가 공개돼 있으며 조정 가능한가
  • Gemini 4 Neon은 안정적으로 선두를 기록한 것인가, 아니면 몇몇 과제에서 대부분의 우위를 만들어 낸 것인가
  • 榜单를 실행하는 비용은 얼마이며 일반 팀도 재현할 수 있는가
  • 문항 모음이 바뀌면 순위가 자주 변할 수 있는가

엔지니어링 평가는 정적 점수 측정보다 복잡하다. 그래서 투명성이 더 중요하다. 지표, 원시 결과, 실행 로그, 버전 기록을 공개하는 일은 종합 점수를 공개하는 것만큼이나 중요하다.

‘#1’만 보고 각 세부 항목, 신뢰구간, 반복 실행 시 편차를 볼 수 없다면 논의는 방법론 대신 특정 브랜드의 입장에서 시작되기 쉽다.

엔지니어링榜单이 더 유용할 수 있는 이유

정적 benchmark는 한 번의閉卷 시험과 같다. 엔지니어링榜单은 CI 파이프라인의 회귀 테스트에 가깝다.

후자가 운영 환경에 더 가까운 이유는 문제가 ‘더 고급’이어서가 아니라 평가 대상이 달라졌기 때문이다.

운영 환경의 LLM이나 AI Agent는 질문에 답하기만 하는 경우가 드물다. 대표적인 흐름은 다음과 같다.

사용자 요청 → 모델 판단 → 도구 호출 → 결과 검증 → 오류 수정 → 구조화된 응답 반환

모델 출력은 전체 흐름의 한 단계일 뿐이다. 도구 인자의 작은 필드 하나를 잘못 쓰면 프로세스 전체가 실패할 수 있다. 페이지와 문서의 형식이 일정하지 않으면 백엔드 파싱에서 오류가 난다. 능력이 충분해도 지연 시간이 너무 길면 사용자는 기다려 주지 않는다.

따라서 가격, 지연 시간, 도구 호출, 형식 준수는 ‘추가 경험’이 아니라 엔지니어링 능력의 일부다.

MEI의 가치는 평가자가 모델 평가에서 정답 품질만 볼 수는 없다는 점을 인정하도록 만드는 데 있다. 어떤 모델의 점수가 아무리 높더라도 호출 비용이 10배 비싸거나 지연 시간이 3초 더 걸리고, 절반의 출력을 시스템에 바로 사용할 수 없다면 더 나은 모델이라고 단정하기 어렵다.

다만榜单가 운영 환경에 가깝다고 해서 자신의 운영 문제가 모두 포함됐다는 뜻은 아니다. 팀마다 업무 흐름의 차이는 크다.

  • RAG 시스템은 검색 후 인용 정확성과 답변 없음 처리 방식을 중시한다
  • 프로그래밍 Agent는 repository 수준의 수정, 테스트 통과율, context 관리 능력을 중시한다
  • 고객지원 Agent는 상태 유지, 도구 권한, 예외 상황 에스컬레이션을 중시한다
  • 멀티모달 애플리케이션은 OCR, 이미지 이해, 지연 시간 제약도 고려해야 한다

MEI는 공통 언어는 될 수 있지만, 각 팀의 검증 과제 모음을 대신할 수는 없다.

새로운 표준이라고 선언하기엔 이르다

단일 종합 순위에는 분명한 위험이 있다. ‘유일한 우승자’를 만들어 내는 것이다.

모델 간 차이는 하나의 직선으로 설명되지 않는다. 어떤 모델은 형식 준수에 더 능숙하고, 다른 모델은 코드 수정에 더 강할 수 있다. 한 모델은 빈도가 높은 짧은 과제에 적합하고, 다른 모델은 빈도가 낮지만 복잡한 과제에 적합할 수 있다. Gemini 4 Neon이 MEI에서 1위이더라도 종합 순위만으로 모든 업무를 해당 모델로 전환해서는 안 된다.

더 안정적인 모델 선택 방법은 자체 과제 모음을 구축하는 것이다. 실제 과거 요청에서 100~300개의 샘플을 추출한 뒤 다음 지표를 기록한다.

지표기록 방식
성공률업무 검증을 통과한 요청 수 / 전체 요청 수
형식 준수율schema를 충족한 출력 수 / 전체 출력 수
도구 호출 정확률인자가 정확하고 부작용도 올바른 호출 수 / 전체 호출 수
수정 성공률최초 실패 후 재시도에서 성공한 비율
성공당 단일 비용입력, 출력 및 재시도 비용의 합
P95 지연 시간요청 전송부터 검증 통과까지 걸린 시간
실패 유형환각, 호출 누락, 형식 오류, 시간 초과 등

그다음 후보 모델에 동일한 prompt, 동일한 도구, 동일한 채점기를 사용해 실행한다. 실패 샘플은 하나씩 확인해야 하며 평균 점수만 보아서는 안 된다.

평균 점수가 90%지만 핵심 도구 호출 정확률이 70%인 모델은 결제 프로세스에 적합하지 않다. 조금 느린 모델이라도 환불 규칙을 안정적으로 실행할 수 있다면 오히려 비용이 더 낮을 수 있다.

편집자 생각

MEI의 가장 중요한 가치는 유일한 우승자를 찾는 일이 아니라, 모델 평가를 일회성 시험에서 재현 가능한 엔지니어링 회귀 테스트로 전환하도록推动하는 데 있을 수 있다. Gemini 4 Neon이 1위에 오르면서 이 방향에 외부 관심이 모였다. 104 points와 52개의 댓글은 개발자들이 여전히 방법론의 투명성을追问하고 있다는 점도 보여준다.

주목을 끌기 위한 하나의 종합 순위보다 ‘업데이트되는 과제 모음 + 세부 지표 + 실패 샘플’이 더 유망하다. 이는 과거의 정적 benchmark와 다르다. 한 번의 문항이 능력을 영구적으로 대표한다고 가정하는 대신, 도구 호출, 형식 준수, 비용 제약 아래에서 모델이 계속 작동할 수 있는지 지속적으로 관찰한다.

불확실성도 분명하다. 현재로서는 MEI가 샘플 오염을 어느 정도 완화할 수 있는지, 종합 가중치가 서로 다른 업무에 적합한지는 확인하기 어렵다. 단기적으로 MEI는 참고 가치가 있는 진단 결과에 가깝다. 장기적으로 모델 선택의 기준이 될 수 있는지는 과제 업데이트의 공개 여부, 채점 결과의 재현 가능성, 실제 실패 사례를 평가 체계에 되돌리는 팀의 의향에 달려 있다.

출처

https://git-aarvin.github.io/mei/

출처: https://git-aarvin.github.io/mei/