거대 언어 모델

Gemini 4 Hydrogen 확인: Agent 워크플로 테스트 방법

Google이 Gemini 4 Hydrogen를 공개하면서 개발자들의 관심이 모델 성능 비교보다 장시간 실행되는 Agent의 도구 호출, 컨텍스트 관리, 실패 복구 성능으로 옮겨가고 있다. 구체적인 버전과 API 조건이 확인되기 전에는 고정된 실제 업무를 대상으로 비용과 성공률을 측정하는 것이 중요하다.

글자 크기

Google이 Gemini 4 Hydrogen를 공개했다. 공식 링크가 Hacker News 메인 페이지에 올랐으며 467 points, 298 comments를 기록했다. AI Agent 팀에 중요한 것은 또 한 번 benchmark 수치를 옮겨 적는 일이 아니라, 장시간 실행되는 작업, 도구 호출, 컨텍스트 관리, 실패 복구가 실제로 개선됐는지 검증하는 것이다.

Gemini 4 Hydrogen 확인: Agent 워크플로 테스트 방법

Google은 “Introducing Gemini 4 Hydrogen”라는 공식 글을 게시했다. 관련 링크가 Hacker News 메인 페이지에 올라갔고, 페이지에는 467 points, 298 comments가 표시됐다. 토론 주소는 HN item 50471431이다.

결론부터 말하면 이번 업데이트가 AI Agent 팀에 주는 가장 큰 가치는 benchmark 표의 수치를 갱신하는 데 있지 않다. 장시간 실행되는 작업을 모델이 어떤 방식으로 수행하도록 바뀔 가능성이 있다는 점이다.

다만 현재 공식 자료에는 구체적인 버전 번호, 컨텍스트 길이, benchmark 데이터가 담기지 않았다. 확인되지 않은 수치를 임의로 채워 넣을 필요는 없다. 지금 확인된 정보를 바탕으로 이 업데이트가 워크플로에 어떤 의미가 있는지 살펴본다.

Hydrogen는 실제로 무엇을 공개했나

Google 공식 블로그는 Gemini 4 Hydrogen를 Gemini 4 시리즈의 중요한 모델 업데이트로 소개한다. 다만 이 표현은 범위를 구분해야 한다.

전체 모델 구성, 가격, 컨텍스트 윈도, API 파라미터를 모두 다루는 완전한 제품 출시는 아니다. 현재 자료만으로는 다음 사항을 확인할 수 없다.

  • Hydrogen가 어느 구체적인 모델 버전에 해당하는지
  • 컨텍스트 길이가 변경됐는지
  • 입력과 출력 token의 가격
  • 공식 benchmark에서 Gemini 4 시리즈의 다른 모델 대비 얼마나 개선됐는지
  • API 모델명, 지역 제한, 할당량

따라서 ‘시리즈 업데이트’를 ‘차세대 완전 모델이 전면 출시됐다’고 표현해서는 안 된다. 더 정확한 이해는 Google이 Gemini 4 시리즈에 Agent 개발자가 테스트해 볼 만한 업데이트를 하나 추가했다는 것이다. 구체적인接入 범위는 공식 API 문서에서 별도로 확인해야 한다.

더 중요한 것은 모델이 개방형 작업을 실제로 결과물이 나올 수 있는 상태까지 밀어붙일 수 있느냐다.

한 번의 대화에서 인상적인 답변을 하는 것과 Agent가 다음 과정을 연속해서 수행할 수 있다는 것은 다른 문제다.

  1. 목표를 분해하고 계획을 생성한다.
  2. 검색, 코드 실행, 데이터베이스 도구를 호출한다.
  3. 중간 결과에 따라 계획을 수정한다.
  4. 도구 시간 초과,脏 데이터 반환, 권한 오류를 만난 뒤 작업을 복구한다.
  5. 미완료 작업을 성공으로 포장하지 않고 검사 가능한 결과를 출력한다.

Hydrogen가 가장 집중적으로 테스트해야 할 부분이 바로 여기다.

HN의 467 points는 무엇을 의미하는가

Hacker News 페이지에는 467 points, 298 comments가 기록됐다. 이 수치는 화제성이 충분히 높다는 뜻이지, 개발자들이 이미 Agent 성능을 검증하고认可했다는 의미까지 담고 있지는 않다.

HN 토론에는 보통 다음과 같은 다양한 쟁점이 섞여 있다.

  • 실제 가격이 빈번한 도구 호출을 감당할 수 있는지
  • API가 기존 SDK와 호환되는지, 전환 비용이 어느 정도인지
  • tool calling과 structured output가 안정적인지
  • 속도 제한, 컨텍스트 캐싱, 할당량이 어떻게 과금되는지
  • 언제 모델이 공개되고 지역 및 기업 사용자가 즉시 이용할 수 있는지
  • Claude, GPT-5 등 다른 모델보다 교체할 가치가 있는지

467 points는 요구 신호에 가깝다. 개발자들은 장시간 실행되는 작업을 처리할 수 있는 Agent 모델을 찾고 있다는 뜻이다.

298 comments는 미묘한 차이를 모아 놓은 목록에 가깝다.决策에 실제로 도움이 되는 것은 인기 게시물의 감정이 아니라, 댓글에서 언급된 변수를 각자의 테스트 항목으로 바꾸는 일이다. 특히 ‘토론의 인기’를 ‘프로덕션 환경에서의 검증이 끝났다’로 해석해서는 안 된다.

Agent 아키텍처에는 어떤 변화가 예상되는가

현재 확인된 정보만 기준으로 Hydrogen를 네 가지 측면에서 점검할 수 있다.

1. 장시간 작업의 계획 수립

Agent는 단순히 단계만 나열할 수 없어야 한다. 의존 관계, 병렬 작업, 차단 조건을 구분할 수 있어야 한다.

예를 들어 ‘저장소를 분석하고 수정 사항을 제출하라’는 작업에는 최소한 디렉터리 읽기, 관련 파일 찾기, 코드 수정, 테스트 실행, 실패 로그 분석, 재수정이 포함된다. 도구 결과에 따라 다음 의사결정이 바뀔 수 있어야 비로소 유효한 계획이라고 볼 수 있다.

Hydrogen도 반복해야 하는 단계를 자주 누락한다면 모델 업그레이드의 이득은 워크플로 결함에 의해 사라질 수 있다.

2. 도구 호출

도구 호출을 평가할 때 JSON 형식의 차이가 안정적인지만 볼 필요는 없다. 최소한 다음 항목을 기록해야 한다.

  • 올바른 도구를 선택했는지
  • 매개변수가凭空 만들어진 값이 아니라 작업 상태에서 가져온 값인지
  • 같은 오류를 의미 없이 반복하지 않았는지
  • 도구 반환값을 다음 단계에 실제로 활용했는지
  • 여러 도구를 안전하게 병렬 실행했는지

한 번의 성공은 의미가 크지 않다. 50회 연속 실행한 뒤의 오류 분포가才有 참고 가치를 갖는다.

3. 컨텍스트 관리

장시간 작업은 대량의 로그, 파일 내용, 도구 출력을 생성한다. 이를 모두 컨텍스트에 넣으면 비용이 빠르게 증가하고 유효한 정보가 묻힐 수 있다.

Agent가 중간 상태를 능동적으로 압축하는지가 더 중요하다.

  • 목표, 제약 조건, 완료된 항목을 유지한다.
  • 다시 읽어 들일 수 있는 대용량 원본 출력은 제거한다.
  • 핵심 증거는 구조화해 저장한다.
  • 상태가 손실된 뒤에도 작업을 복구할 수 있다.

컨텍스트가 길다는 것과 컨텍스트를 관리할 수 있다는 것은 별개다.

4. 실패 복구

Agent의 분수령은 보통 첫 호출이 아니라 첫 실패 이후에 드러난다.

HTTP 429, 도구 시간 초과, 권한 없음, 매개변수 오류, 빈 결과, 비정상적인 결과 형식을 포함한 실패 시나리오를 테스트해야 한다. 복구 전략은 재시도 가능한 오류와 불가능한 오류를 구분하고 반복 횟수에도 상한을 두어야 한다. 그렇지 않으면 ‘자율 실행’은 실제로 token을 태우는 무한 루프일 뿐이다.

모델 순위만 보지 말 것

Gemini 4 Hydrogen, 현재 사용 중인 모델, 필요한 경우 대체 모델을 비교할 때는 고정된 업무 집합과 다음 네 가지 지표를 사용한다.

지표 계산 방식 관심사점
작업 성공률 완료된 작업 수 / 전체 작업 수 결과물을 실제로 완성했는지
도구 호출 횟수 작업당 평균 호출 수 효율성과 반복 호출
수동 개입률 수동 개입이 필요한 작업 수 / 전체 작업 수 자동화 안정성
작업당 비용 전체 token과 도구 비용 / 전체 작업 수 성공 한 번에 필요한 비용

숫자로 측정하지 않는 지표도 두 가지 추가한다. 실패 후 복구 가능 여부와 출력의 감사 가능성이다.

업무 집합에는 ‘메일 하나 작성하기’처럼 지나치게 단순한 샘플을 사용하지 않는다. 최소 20개의 실제 작업을 포함하고, 각 작업에 도구 호출과 실패 분기를 넣어야 한다. 실행할 때마다 전체 trajectory를 저장한다. 모델 메시지, 도구 매개변수, 도구 반환값, 재시도 기록, 최종 상태를 모두 남겨야 한다.

최종 답변만 보면 가장 중요한 문제를 놓칠 수 있다. Agent가 정답을 냈지만 도구를 17번 호출했을 수도 있다. 반대로 매우 깔끔하게 실패해 마지막 단계를 사람이 보완해야 할 수도 있다.

개발자는 어떻게 도입해야 하는가

구체적인 모델명, 가격, API 파라미터를 아직 확인하지 않은 상태에서 실행 가능한 코드를 지어내서는 안 된다. 가장 안전한 최소 검증 경로는 먼저 평가 프레임워크를 구축한 뒤 공식 문서에 맞춰 모델 설정을 채우는 것이다.

다음 Python 코드는 Agent의 도구 호출 trajectory를 기록한다. Gemini API에 종속되지 않으며 공식 파라미터를 임의로 만들지도 않는다.

import json
import time
from pathlib import Path
from typing import Any

def record_trajectory(
    task_id: str,
    messages: list[dict[str, Any]],
    tool_calls: list[dict[str, Any]],
    output: str,
    needs_human: bool,
    output_dir: str = "trajectories",
) -> dict[str, Any]:
    started_at = time.time()
    result = {
        "task_id": task_id,
        "messages": messages,
        "tool_calls": tool_calls,
        "output": output,
        "needs_human": needs_human,
        "tool_call_count": len(tool_calls),
        "elapsed_seconds": time.time() - started_at,
    }

    path = Path(output_dir) / f"{task_id}.json"
    path.parent.mkdir(parents=True, exist_ok=True)
    path.write_text(
        json.dumps(result, ensure_ascii=False, indent=2),
        encoding="utf-8",
    )
    return result

도입할 때는 다음 순서를 따른다.

  1. 실제 작업 20개를 고정하고 완료 조건과 금지 행동을 명확히 정의한다.
  2. 각 작업에 읽기 전용 및 쓰기 도구를 준비하고 권한과 호출 횟수를 제한한다.
  3. Google 공식 API 문서에서 실제 모델명, 파라미터, 할당량, 과금 규칙을 확인한다.
  4. 현재 프로덕션 모델로 baseline을 실행한 뒤 동일한 프롬프트와 도구로 Hydrogen를 실행한다.
  5. 최종 출력뿐 아니라 모든 실행의 trajectory를 저장한다.
  6. 성공률, 도구 호출 횟수, 수동 개입률, 작업당 비용을 각각 비교한다.
  7. 온라인 모델을 즉시 교체하지 않고 먼저 shadow traffic을 사용한다.
  8. 핵심 작업에서 현재 모델보다 안정적으로 우수할 때만 트래픽을 단계적으로 확대한다.

Hydrogen가 일반적인 질문을 답변하는 성능에서는 앞섰지만 장시간 작업의 성공률이 개선되지 않았다면, 순위표 때문에 Agent 아키텍처를 이전할 필요는 없다. 반대로 종합 benchmark 성적이 조금Improved하더라도 수동 개입과 무효 호출을 줄였다면 프로덕션에 더 적합할 수 있다.

편집자의 생각

이번 업데이트에서 진짜 중요한 것은 Google이 Gemini 4 시리즈에 또 하나의 모델을 추가했다는 사실이 아니다. 개발자의 관심이 ‘모델이 답할 수 있는가’에서 ‘모델이 작업을 완료할 수 있는가’로 이동하고 있다는 점이다. 467 points와 298 comments는 이러한 요구를 보여 줄 뿐, Hydrogen의 프로덕션 성능을 검증한 결과는 아니다.

Agent 팀이 다음 단계에서 집중할 가치가 가장 큰 대상은 매번 나오는 모델 출시를 쫓는 일이 아니라 업무 집합, 도구 권한, trajectory 기록, 실패 복구를 안정적인 인프라로 만드는 일이다. 모델 업그레이드는 보통 몇 가지 파라미터만 바꾼다. 반면 워크플로 개조는 그 파라미터가 성공률로 전환될 수 있는지를 결정한다. Hydrogen가 단일 턴 답변 품질만 높였다면 장시간 작업에 대한 한계 효과는 제한적일 수 있다.

이번 업데이트가 과거의 시리즈 업데이트와 다른 점은 의회가 이미 Agent 워크플로를 중심으로 명확히 전개됐다는 것이다. 하지만 현재 자료에는 구체적인 버전 번호, 컨텍스트 길이, 가격, benchmark, API 이용 범위가 여전히 없다. 공식 모델을 직접 호출한 것도 아니므로 Claude, GPT-5 또는 다른 현행 모델보다 우수하다고 단정할 수 없다. 합리적인 방법은 먼저 고정된 업무 집합을 실행하고 비용과 수동 개입률을 기준으로 전환 여부를 판단하는 것이다. 아키텍처를 먼저 바꾼 뒤 이점을 찾을 필요는 없다.

출처: https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-hydrogen/