Gemini 4 Neon과 Opus 5.5의 승패는榜单 밖에서 따져봐야 한다
제3자 실측에 따르면 Gemini 4 Neon은 이미 Anthropic Opus 5.5와 경쟁할 수 있는 수준으로 평가받았다. 하지만 순위보다 중요한 것은 테스트 과제, 프롬프트, 지연 시간, 단위 과제당 비용이다.
Gemini 4 Neon과 Opus 5.5 비교, 실제 운영 환경에서 무엇을 봐야 할까
먼저 결론: 이번에는 벤치마크 점수를 반복한 글이 아니다
제3자 기사 Gemini 4 Neon looks like an Opus 5.5 competitor의 핵심 판단은 명확하다. Gemini 4 Neon은 Anthropic Opus 5.5와 경쟁할 능력을 갖췄다.
먼저 범위를 구분해야 한다. 이는 Gemini나 Anthropic가 공식적으로 내린 성능 발표가 아니라, 제3자가 실제 과제 집합을 바탕으로 내린 판단이다. 업체가 공개한 순위에 다른 이름만 붙여 읽은 내용도 아니다.
이 차이는 중요하다.
업체 벤치마크는 대체로 동일한 기준으로 진행된다. 고정된 데이터셋과 프롬프트를 사용하고, 여러 모델을 한꺼번에 추론한 뒤 자동 점수를 매긴다. 모델을 가로질러 빠르게 살펴보는 데는 적합하지만, 실제 운영 환경의 질문에 자동으로 답해 주지는 않는다.
- 업무가 글쓰기 중심인가, 여러 파일을 다루는 코딩인가?
- 한 번 성공하는 것과 10번 연속 성공하는 것 중 어느 수준을 요구하는가?
- 8초를 기다려야 하는가, 45초를 기다려야 하는가?
- 업무 한 건을 완료하는 데 얼마가 필요한가?
- 실패한 뒤 재시도, 도구 호출, 더 긴 컨텍스트로 복구할 수 있는가?
이 글이 주목할 만한 이유는 Neon의 순위가 올랐기 때문이 아니다. 질문이 ‘같은 과제에서 두 모델 중 누가 더 좋은 결과물을 전달하는가’로 바뀌었기 때문이다.
다만 ‘경쟁할 수 있다’는 결론이지 증거 자체는 아니다. 실제 근거는 테스트 설계와 결과에 담겨 있다.
테스트 다시보기: 과제 범위가 결과의 신뢰도를 결정한다
모델 실측 글을 검토할 때는 먼저 네 가지를 확인한다.
- 과제의 이름이 아니라 실제 과제가 무엇인지.
- 원본 프롬프트로 그대로 재현할 수 있는지.
- 다단계 수정과 도구 사용이 허용되었는지.
- 평점이 고정된 rubric, 사람 심사, 모델 심판 중 어떤 방식으로 매겨졌는지.
이 네 항목은 분리해서 봐야 한다.
글쓰기
글쓰기 평점은 문체에 크게 영향을 받는다. 같은 ‘지연 안내 메일 작성’이라도 브랜드의 어조를 재현하고, 깨끗한 Markdown을 출력하며, 사실 제약을 지킨 모델이 단순히 문장을 더 길게 쓴 모델보다 낫다.
이런 과제는 지시 따르기, 형식 제어, 사실 범위遵守를 측정하기에 적합하지만, 추론 능력만으로 판단하기에는 부적절하다. 프롬프트에 템플릿, 예시, 평가 기준이 지나치게 자세히 들어 있으면 모델의 작업은 제약 조건 충족에 가까워진다.
코딩
코딩은 글쓰기보다 운영 환경에 가깝지만, 테스트 환경의 영향도 더 크게 받는다.
신뢰할 수 있는 테스트라면 최소한 다음 내용을 밝혀야 한다.
- 코드 저장소를 제공했는지 여부.
- 패치 생성만 요구했는지, 테스트 실행까지 허용했는지 여부.
- 테스트 실패 후 추가 수정할 수 있었는지 여부.
- 최종 점수를 테스트 통과, 코드 리뷰, 사람의 선호도 중 무엇을 기준으로 매겼는지 여부.
최종 diff만 보여 주고 숨겨진 테스트나 실패 기록을 제시하지 않으면, ‘처음부터 맞힌 것’과 ‘반복 수정 후 맞힌 것’을 구분할 수 없다. 실제 운영 환경의 AI Agent는 로그를 읽고, 명령을 실행하고, 오류를 수정할 수 있다. 후자는 비용이 더 들지만 실제 효과에도 더 가깝다.
추론
추론 문제는 결과를 비교할 수 있지만, 프롬프트가 답을泄露하면 결론 자체가 무너진다.
같은 문제라도 Neon과 Opus 5.5에 서로 다른 형식, 예시, 추론 예산을 제공했다면 최종 정답만으로 승패를 판단할 수 없다. 입력과 예산을 고정하고 전체 추론 과정을 저장한 뒤 여러 번 다시 실행하는 방식이 더 합리적이다.
실제 업무
전체 테스트에서 가장 가치 있는 계층은 고객 지원 문의 분류, 코드베이스 마이그레이션, 장문서 분석, 구조화 데이터 추출 같은 실제 업무다.
실제 업무에는 명확한 경계가 없다. 도메인 지식, 도구 호출, 오류 복구, 비용 통제를 동시에 요구한다. 그래서 실제 업무 테스트의 표본 수는 대체로 작다.
단일 사례에는 다음과 같은 한계가 있다.
‘이 모델은 적어도 한 번은 할 수 있다’는 것을 보여 줄 수는 있지만, ‘평균적으로 더 안정적이다’는 것을 증명하지는 못한다. 두 모델이 각각 20개 과제를 완료했더라도 과제의 난이도, 프롬프트, 재시도 정책이 같지 않으면 차이의 상당 부분이 모델이 아니라 표본에서 나올 수 있다.
검토 순서는 이렇다. 먼저 원본 과제를 보고, 그다음 출력물을 보고, 이후 실행 과정을 확인하고, 마지막으로 작성자가 붙인 ‘Opus 5.5 competitor’라는 표현을 검토한다.
능력만 보지 말자: 지연 시간과 비용이 운영 가치에 더 가깝다
LLM의 운영 가치는 벤치마크의 능력 점수와 같지 않다.
Opus 5.5의 품질이 약간 높고, Gemini 4 Neon의 단일 호출 비용이 절반이며 완료 시간이 삼분의 일이_ONLY라면 Neon이 대화형 AI Agent에 더 적합할 수 있다. 반대로 Neon이 같은 결과를 얻기 위해 더 많은 수정 단계를 거쳐야 한다면, 표시 가격이 낮다는 사실만으로 과제당 비용도 낮아진다고 볼 수 없다.
나는 다음 네 가지 수치를 더 중요하다.
단위 과제당 비용 = 입력 Token 비용 + 출력 Token 비용 + 재시도 비용 + 도구 비용
단위 과제당 지연 시간 = 대기 시간 + 첫 Token까지의 시간 + 전체 실행 시간 + 사람의 대기 시간
API 표시 가격만으로 결론을 내릴 수는 없다. 성공에 필요한 호출 횟수도 계산해야 한다.
예를 들어 모델 A의 단일 호출 비용이 1달러이고 성공률이 80%이며, 모델 B의 단일 호출 비용은 2달러, 성공률은 95%라고 하자. 성공한 과제 한 건의 기대 비용을 대략 계산하면 다음과 같다.
A ≈ 1 / 0.80 = 1.25 달러
B ≈ 2 / 0.95 ≈ 2.11 달러
엄밀한 end-to-end benchmark는 아니지만, 한 가지는 분명히 보여 준다. 가격은 성공률과 함께 계산해야 한다.
지연 시간도 하나의 숫자로 정리되지 않는다.
대화형 환경에서는 첫 Token까지의 시간과 전체 응답 시간이 중요하다. 일괄 처리 AI Agent는 전체 실행 시간이 중요하지만, 동시 실행 제한, rate limiting, 재시도 상태를 더 세심하게 살펴본다. 코딩 과제에는 컴파일, 테스트, CI 시간도 포함해야 한다.
따라서 ‘Neon이 Opus 5.5에 경쟁할 수 있다’가 출력 품질이 비슷하다는 의미뿐이라면 유용한 결론이다. 비용, 지연 시간, 안정성까지 비슷하다는 의미라면 증거가 부족하다.
같은 실제 과제 집합에 대해 최소한 다음 항목을 요구해야 한다.
- 각 모델의 전체 입력과 출력
- 사용한 모델 버전과 sampling parameter
- Token 사용량과 호출 횟수
- end-to-end 소요 시간
- 성공 사례와 실패 사례
- 여러 번 실행한 뒤의 통과율
이 자료가 없으면 순위 밖에서 볼 수 있는 것은 여전히 이야기뿐이다.
HN의 213점과 댓글 67개
관련 링크가 Hacker News의 메인 페이지에 올라가 213점과 댓글 67개를 받았다. 토론은 HN 50554374에서 시작됐다.
213점은 개발자들이 단순히 새 모델 이름을 구경한 것이 아니라 이 문제를 진지하게 살펴볼 필요가 있다는 뜻이다. 댓글 67개는 더 주목할 만하다.
커뮤니티는 보통 세 종류의 질문을 제기한다.
- 표본이 너무 적어 결론을 지나치게 일반화하지 않았는가?
- 프롬프트가 특정 모델에 지나치게 유리하게 작용하지 않았는가?
- ‘Opus 5.5 경쟁 모델’이라는 평가는 품질의 상한을 기준으로 한 것인가, 안정적으로 결과를 제공하는 능력을 기준으로 한 것인가?
이런 의문은 원문의 결론을 자동으로 뒤집지 않는다.
소표본 실측은 애초에 통계적 증명이 아니다. 오히려 정보 밀도가 높은 탐색 도구에 가깝다.值得 반복 테스트할 모델을 빠르게 찾아내는 데 쓸 수 있다. 문제가 되는 것은 작성자나 독자가 탐색 결과를 확정된 결론으로 받아들이는 순간이다.
HN 토론의 의미도 ‘누가 더 강하다’는 판단에 다시 한 표를 던지는 데 있지 않다. 숨겨진 변수들을 테이블 위에 놓는 데 있다. 과제 선택, 프롬프트, 평가 방식, 도구 권한, 실패 처리 방식이 바로 그것이다.
모델의 성능이 서로 가까워질수록 이런 변수는 종합 순위에서 더 쉽게 가려진다.
예전에는 모델을 바꿀 때 공개된 점수를 확인했다. 지금은 두 모델의 점수 차이가 몇 퍼센트밖에 되지 않지만, 실제 운영에 적용하면 비용이 두 배가 될 수 있다. 엔지니어는 자연스럽게 원본 사례로 돌아간다. 같은 과제, 같은 자원에서 누가 수정을 덜 요구하는가?
제3자 실측이 여전히 가치 있는 이유도 여기에 있다. 최종 답을 반드시 내놓지는 않지만, 엔지니어링 현장에 더 가까운 질문을提起할 수 있다.
편집자 생각
이번 이슈에서 중요한 것은 Neon이 Opus 5.5를 ‘추격했는지’가 아니다. 모델 경쟁의 중심이 모델 점수에서 테스트 점수로 이동하고 있다는 사실이다. 능력 차이가 줄어들면 과제 정의, 프롬프트 버전, 평가 규칙, 재시도 횟수, 단위 과제당 비용이 순위 결과를 직접 결정한다.
제3자 실측은 단서를 찾는 데 적합하지만 모든 운영 시나리오의 정답을 대신할 수는 없다. 213점과 댓글 67개는 개발자들이 업체가 제시한 기준보다 재현 가능한 증거를 필요로 한다는 점을 보여 준다.
내 예측은 이렇다. 다음 모델 출시에서도 공식 순위는 계속 유지되겠지만, AI Agent를 도입하는 팀은 실제 과제 기준으로 ‘성공 한 건에 얼마와 얼마나 걸리는가’를 비교하기 위해 원본 실행 과정을 저장할 가능성이 높아진다. 다만 원문의 표본 규모, 과제 구성, 실행 횟수는 여전히 결론을 제한할 수 있다. Neon이 동일한 장기 과제에서 품질만 앞서는,成本과 안정성에서는 따라잡지 못한다면, ‘경쟁할 수 있다’는 표현은 여전히 생산 환경에서 대체 가능하다는 뜻보다 능력의 상한이 비슷하다는 의미에 가깝다.