Google이 Gemini Decisions API를 출시하며 의사결정 호출을 별도 API로 제공했다. Agent 팀에 중요한 것은 인터페이스가 하나 늘었다는 사실이 아니라 재현 가능하고 디버깅 및 평가가 가능한 의사결정 프로세스를 만드는 일이다.
공식 소개: https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/
이번 출시의 핵심 변화
일반적인 Gemini API의 핵심 단위는 메시지다. 개발자가 컨텍스트를 입력하면 모델이 텍스트나 구조화된 출력을 생성한다.
Tool Calling도 대개 같은 방식이다. Function Calling으로 도구 이름, 매개변수, 용도를 설명한 뒤 모델이 호출 여부를 결정하게 한다. 모델이 한 번의 tool call을 반환하면 애플리케이션이 도구를 실행하고, 결과를 컨텍스트에 추가한 다음 다음 추론 단계로 넘어간다.
Gemini Decisions API는 여러 판단 단계가 포함된 Agent 워크플로만을 위해 ‘의사결정’을 독립 인터페이스로 제공한다. 이러한 워크플로에 Gemini을 연결하는 개발 난이도를 낮추려는 것이다.
셋의 관심사는 서로 다르다.
- Gemini API는 모델 역량을 이용하기 위한 진입점이다.
- Tool Calling은 모델이 어떤 동작을 호출할 수 있는지 정의한다.
- Decisions API는 여러 판단 단계가 포함된 Agent 워크플로를 겨냥한다.
최소한 제품 관점에서는 Google이 의사결정을 Prompt 내부의 일부 로직에서 분리된 인터페이스로 옮기는 중이라는 뜻이다.
Decisions API를 워크플로 엔진으로 착각하지 말아야 한다
인터페이스 이름은 오해를 부를 수 있다. Decisions API라는 이름이 모델이 상태 관리, 실패 복구, 실행 전략까지 처리한다는 의미는 아니다.
Agent의 안정적인 실행 여부는 여전히 애플리케이션 계층의 제어에 달려 있다.
첫째는 인터페이스 계약이다. 모델이 내린 결정은 프로그램으로 검증할 수 있어야 한다. 자유 형식의 텍스트는 프로덕션 동작을 직접 구동하는 데 적합하지 않다. 개발팀은 JSON Schema, 구조화된 출력 또는 명시적인 action type을 사용하고, 알 수 없는 동작, 누락된 필드, 권한을 벗어난 작업에는 거부 경로를 설정해야 한다.
둘째는 상태 관리다. Agent는 현재 작업이 어느 단계에 있는지, 어떤 도구를 호출했는지, 어떤 도구에서 실패했는지 알아야 한다. 상태를 대화 기록 안에만 숨겨서는 안 된다.
시간 초과, 도구 오류, 중복 호출, 반복 실행은 워크플로 엔진이 처리해야 한다.
셋째는 재현성 제어다. 유사한 입력으로 유사한 결정을 얻는다고 해서 업무 결과까지 같아지는 것은 아니다. 무작위성, 모델 버전, 컨텍스트 길이, 도구 반환값에 따라 이후 경로가 달라질 수 있다.
프로덕션 시스템에서는 모델과 의존성 버전을 고정하고, 각 의사결정에 사용된 컨텍스트와 도구 매개변수 및 실행 결과를 기록한 뒤 의사결정 궤적을 재생할 수 있어야 한다.
가장 흔한 실수는 ‘답변이 그럴듯하다’를 ‘의사결정 시스템이 쓸 만하다’로 받아들이는 것이다. 답변 품질은 최종 출력만 평가한다. Agent에서 더 흔하게 나타나는 문제는 중간에 잘못된 도구를 선택하거나 필요한 단계를 누락하거나 잘못된 상태에서도 실행을 계속하는 것이다.
따라서 Decisions API는 더 긴 Prompt가 아니며 완전한 워크플로 엔진을 자동으로 제공하는 것도 아니다. 정확한 포지셔닝은 다음과 같다. 의사결정 모델 호출을 위한 표준 진입점을 제공하고, 개발자가 이를 중심으로 상태, 실행, 재시도, 평가 계층을 구축하도록 지원하는 것이다.
Agent 개발은 Demo에서 평가로 전환해야 한다
연동을 마친 뒤 가장 가치 있는 산출물은 Demo 코드가 아니라 의사결정 평가 세트다.
팀은 과거 티켓, 비식별화 로그, 수동 처리 기록을 고정된 샘플로 정리할 수 있다. 각 샘플에는 초기 상태, 사용 가능한 도구, 목표 조건, 기대 결과를 담는다. Agent를 격리된 환경에서 실행하고 전체 의사결정 궤적을 기록한다.
다음 지표는 최소한 별도로 관찰해야 한다.
- 작업 성공률: 정해진 단계, 예산, 시간 초과 안에서 목표를 달성한 비율이다.
- 오류 비용: 오답 횟수가 아니라 잘못된 동작이 일으킨 실제 손실이다.
- 평균 호출 횟수: 도구, 모델, 외부 API의 전체 평균 호출 횟수다.
- P95 지연 시간: 요청 시작부터 작업 완료까지 걸린 시간의 95번째 백분위 수다.
- 수동 개입률: Agent가 더 이상 진행할 수 없거나 사람의 승인이 필요한 비율이다.
이 지표들은 함께 봐야 한다. 한方案的이 모델을 10회 더 호출해 성공률을 92%에서 96%로 높였지만 P95 지연 시간과 추론 비용이 이미 허용 범위를 벗어날 수 있다. 다른方案은 오류 비용이 더 낮지만 많은 예외 작업을 사람에게 넘긴다.
실용적인 테스트 구조는 다음과 같다.
import json
from dataclasses import asdict, dataclass
@dataclass
class DecisionCase:
case_id: str
initial_state: dict
expected_outcome: str
max_tool_calls: int = 8
def evaluate_decision(case, decision, tool_calls):
checks = {
"task_success": decision.get("outcome") == case.expected_outcome,
"call_budget": len(tool_calls) <= case.max_tool_calls,
"action_allowed": decision.get("action") in {
"complete",
"request_information",
"escalate",
},
}
return {
"case_id": case.case_id,
"passed": all(checks.values()),
"checks": checks,
"tool_calls": len(tool_calls),
}
case = DecisionCase(
case_id="refund-001",
initial_state={"order_status": "delivered", "policy": "return_allowed"},
expected_outcome="refund_eligible",
)
decision = {
"outcome": "refund_eligible",
"action": "complete",
}
result = evaluate_decision(case, decision, tool_calls=[])
print(json.dumps(asdict(result), ensure_ascii=False, indent=2))
이 코드는 Decisions API 클라이언트가 아니다. 공식 글에서 인터페이스의 포지셔닝과 사용 방식을 이해할 수 있으며, 구체적인 요청 형식, 매개변수, 모델 이름은 여전히 공식 문서에서 확인해야 한다. SDK와 매개변수를 검증하지 않은 상태에서 ‘실행 가능한’ API 예제를 만들어서는 안 된다.
실제로 작동하는 엔지니어링 테스트는 세 종류의 데이터를 저장해야 한다. 각 모델 의사결정, 각 도구 호출, 최종 업무 결과다. 그래야 Agent가 왜 그 경로를 선택했는지, 모델을 업그레이드한 뒤 실제로 더 나아졌는지를 설명할 수 있다.
가격, 지연 시간, 종속 위험
현재 공개된 자료만으로는 Gemini Decisions API의 공식 단가, 속도 제한, 지역별 이용 가능성을 충분히 확인하기 어렵다. 이 수치는 공식 가격 페이지, 할당량 문서, 실제 호출 결과를 기준으로 해야 하며 일반 Gemini API 가격을 그대로 적용해서는 안 된다.
비용 분석은 전체 체인에 걸쳐 계산해야 한다.
def estimated_cost(cases, model_price_per_million, tool_price_per_call):
total = 0.0
for case in cases:
total += case.input_tokens / 1_000_000 * model_price_per_million
total += case.output_tokens / 1_000_000 * model_price_per_million
total += case.tool_calls * tool_price_per_call
return total
input_tokens, output_tokens, 도구 호출 횟수가 공식 과금 항목에 어떻게 매핑되는지 확인해야 한다. 도구 자체도 별도 요금이 발생할 수 있다.
P95 지연 시간도 나누어 측정해야 한다. 모델 추론, 도구 실행, 직렬 단계, 재시도가 모두 누적되기 때문이다.
종속 위험은 일반 채팅보다 뚜렷하다. Agent가 특정 독점형 의사결정 인터페이스에 의존하게 되면 상태 직렬화, 오류 의미, 도구 프로토콜, 평가 세트가 그 인터페이스를 전제로 설계될 수 있다. 다른 모델로 마이그레이션할 때는 model 매개변수만 바꾸면 되는 문제가 아니다.
결합도를 미리 낮춰 둘 수 있다.
- 내부 action schema로 공급업체 종속 필드를 격리한다.
- 전체 요청, 응답, 도구 궤적을 보존한다.
- 평가 세트를 특정 SDK와 분리한다.
- 핵심 경로에 두 번째 모델이나 규칙 기반 fallback을 준비한다.
- 권한 검증을 애플리케이션 계층에 두고 모델이 직접 실행 권한을 얻지 못하게 한다.
편집자 관점
이번 출시의 의미는 모델 진입점이 하나 늘었다는 데만 있지 않다. Google이 Agent의 의사결정 계층을 Prompt 로직에서 독립적인 소프트웨어 컴포넌트로 분리하고 있기 때문이다. 많은 팀이 그동안 흐름 제어를 프롬프트에 집어 넣고 실행 결과를 사람이 관찰하는 방식으로 운영했다. 그러나 작업이 환불, 구매, 운영으로 들어갈 때 먼저 드러나는 문제는 언어 능력이 아니라 동작의 재현 불가능성, 오류 원인 추적의 어려움, 업그레이드 전후 비교 불가능성이다.
제 판단에는 이런 인터페이스가 팀에서 더 엄격한 계약 테스트와 궤적 평가를 구축하도록 유도할 것이다. Agent 엔지니어링의 중심은 ‘Prompt를 얼마나 세련되게 작성했나’에서 ‘상태, 동작, 결과를 검증할 수 있는가’로 이동할 것이다. 채팅 모델 추가와는 다르다. 팀이 의사결정 오류의 책임을 누가 지는가, 어떻게 재생할 것인가, 언제 사람에게 넘길 것인가라는 세 가지 질문에 답해야 하기 때문이다.
다만 지금은 성숙한 워크플로 플랫폼으로 이해하기 어렵다. 공식 포지셔닝, SDK 세부 사항, 가격, 할당량, 지역별 이용 가능성은 최신 문서와 실측 결과를 기준으로 확인해야 한다. 공개 소개 자료만으로는 프로덕션 수준의 지속 상태, 결정적 재생, 세밀한 도구 권한 지원 여부를 판단하기에 충분한 근거가 제시되지 않았다. 진정한 분기점은 API 출시 여부가 아니라 팀이 실제 업무 샘플을 통해 기존의 Prompt 흐름보다 더 신뢰할 수 있고 저렴하다는 점을 입증할 수 있느냐에 있다.
출처
https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/