Claude Opus를 더 저렴한 소형 모델로 교체하면 보통 정확도가 떨어진다.
Hightouch는 다른 접근을 택했다. Opus는 유지하되, 모든 레코드를 Opus에 보내지는 않는 방식이다.
이들은 필요할 때만 Claude Opus의 지원을 요청할 수 있는 JEV(Judgment / Judge / Evaluator 계열의 경량 모델)를 구축했다. JEV가 먼저 신원 해석 결과의 신뢰성을 판단하고, 모호하거나 충돌하거나 위험도가 높은 샘플에 대해서만 Claude Opus로 escalate한다.
Hightouch가 공개한 실험, 프롬프트, 평가 결과를 보면 JEV는 Claude Opus와 거의 동일한 작업 정확도를 달성하면서 추론 비용은 Opus 단독 사용 시점의 약 4분의 1이었다. 환산하면 비용이 약 75% 감소한 셈이다.
이는 Opus 사용량을 25% 줄인 것이 아니다. 대부분의 요청이 escalate되기 전에 처리된 것이다.
2단계 모델 구조는 중복 설계가 아니다
일반적인 멀티 모델 시스템은 두 모델에게 동시에 질문한 뒤 투표나 심판 메커니즘으로 답을 결정한다. 문제는 간단한 샘플에도 비용이 중복으로 들고 지연 시간도 누적된다는 점이다.
Hightouch의 방식은 같은 작업을 두 번 병렬로 수행하는 대신, 두 모델에 역할을 순차적으로 나눈다.
첫 번째 단계는 경량 JEV다. 먼저 신원 해석을 수행하고 결과와 신뢰도를 출력한다. JEV는 고정된 모델이 아니라 라우팅 계층이다. 작업 난이도와 자체 판단을 기준으로 Claude Opus 지원이 필요한지 결정한다.
두 번째 단계가 Claude Opus다. JEV가 불확실하다고 판단한 레코드를 처리하고 최종 판단을 책임진다.
가장 잘못 옮기기 쉬운 부분은 모델 이름이 아니라 요청 흐름이다.
record -> JEV -> confidence check
|-> high confidence: accept JEV result
|-> low confidence: request Claude Opus
모든 샘플을 escalate하면 cascade의 비용 절감 가치가 사라진다. 반대로 escalate 조건이 너무 엄격하면 오류가 누락될 수 있다. 실제로 측정해야 할 항목은 다음과 같다.
- JEV 단독 처리 정확도
- Opus로 escalate되는 비율
- escalate 전후의 오류 분포
- 파싱 1회당 평균 비용
- 평균값이 아닌 P95 지연 시간
Hightouch는 실험 설정, 프롬프트, 평가 세부 사항과 정량적인 정확도·비용 비교를 공개했다. 이는 중요하다. 그렇지 않으면 ‘정확도는 그대로, 비용은 75% 감소’라는 문구는 재현할 수 없는 제품 홍보일 뿐이다.
원문: LLM Judges for Identity Resolution
4분의 1 비용은 어떻게 계산되는가
약 75%의 감소는凭空 나온 할인이 아니라 요청 구조가 달라진 결과다.
Claude Opus 단독으로 배치 신원 해석을 수행할 때 필요한 추론 비용을 100이라고 가정하자. 2단계 방식에서는 JEV가 모든 레코드를 먼저 처리하고, 비율 p의 샘플만 Opus로 escalate한다. 전체 비용은 대략 다음과 같이 나타낼 수 있다.
총 비용 ≈ JEV 배치 처리 비용 + p × Opus escalate 비용
핵심은 p다. 대부분의 신원 매칭을 단순 규칙이나 경량 모델로 안정적으로 해결할 수 있다면 escalate 비율은 낮아지고, Opus 비용도 크게 줄어든다. 최종 보고 기준에 따르면 총 추론 비용은 Opus 단독 사용 시점의 약 4분의 1이었다.
이 수치를 ‘Opus 가격이 75% 낮아졌다’로 해석해서는 안 된다. 모델의 단가는 그대로다. 달라진 것은 호출량이다. 시스템이 Opus가 필요하지 않은 판단을 앞단에서 처리한 것이다.
한 가지 엔지니어링 요소도 주의해야 한다. 신원 해석 작업에서는 형식이 명확한 단순 레코드가 보통 큰 비중을 차지한다. 이메일이나 휴대폰 번호처럼 식별자 형식이 명확하면 후보 엔티티도 적다.真正 까다로운 케이스는 이름 철자 차이, 누락된 필드, 가족 구성원이 주소를 공유하는 상황, 여러 후보 엔티티의 점수가 비슷한 경우다. JEV는 전자를 먼저 처리하고 후자를 Opus에 맡기는 데 적합하다.
실험 데이터가 아키텍처 다이어그램보다 중요한 이유도 여기에 있다. JEV에 어떤 프롬프트를 사용하고, 신뢰도를 어떻게 정의하고, 언제 escalate할지가 75%라는 결과에 직접 영향을 준다.
신원 해석에 모델 cascade가 적합한 이유
신원 해석은 자유로운 질문을 하는 작업이 아니다. 고객 데이터베이스에서 두 레코드가 같은 엔티티를 가리키는지 찾는, 비교적 명확한 목표가 있다.
동시에 모호한 경계도 많다.
예를 들어 ‘John Smith’은 여러 고객에 대응할 수 있다. 주소가 같다는 사실만으로 신원이 같다고 증명할 수 없고, 이메일이 다르다고 해서 반드시 다른 사람인 것은 아니다. 규칙 시스템은 완전 일치에는 적합하지만, 시스템 간 필드 누락, 별명 변화, 입력 오류를 폭넓게 처리하기 어렵다. 모든 데이터를 Opus에 직접 맡기면 고비용 모델이 대량의 기계적 판단을 수행하게 된다.
모델 cascade는 바로 이러한 데이터 분포를 활용한다.
- 형식 규칙이 명확하고 후보가 하나뿐이면 직접 매칭하거나 경량 모델에 맡긴다.
- 필드가 조금 다르고 JEV가 판단할 수 있으면 JEV가 바로 결과를 반환한다.
- 후보가 충돌하거나 필드가 심각하게 누락됐으면 Claude Opus로 escalate한다.
- 고위험 업무 샘플은 신뢰도가 아무리 높아도 사람이나 더 강력한 모델의 검토를 거친다.
마지막 항목이 중요하다. 저신뢰도 라우팅은 컴플라이언스 검토를 대체할 수 없다. 신원 병합이 청구, 계정 복구, 개인정보 접근에 영향을 준다면 escalate 기준은 모델이 자처한 점수뿐 아니라 업무 위험도로 정해야 한다.
관련 논의는 Hacker News 메인 페이지에 올라가 165점과 40개의 댓글을 얻었다. 원문 discussion 링크는 Hacker News item 50397429다. 댓글에서值得关注할 대목은 ‘모델이 데이터 엔지니어를 대체할 것인가’보다 escalate 임계값을 어떻게 설정할지, 이 방법을 다른 작업에 적용할 수 있는가다.
모델 교체보다 JEV 라우팅을 적용할 가치가 크다
저렴한 모델로 바로 교체하면 일반적으로 성능이 손실된다. 모델 cascade는 더 Powerful한 모델로 escalate하는 경로를 유지하므로 프로덕션 시스템에 더 적합하다.
이 방식은 여러 흔한 업무로 확장할 수 있다.
고객 서비스 품질 점검에서는 JEV가 먼저 티켓이 규칙을 위반하는지 검사한다. 명백히 컴플라이언스 요건을 충족한 샘플은 그대로 통과시키고, 어투가 복잡하거나 맥락이 부족하거나 보상금이 걸린 샘플은 Claude Opus에 맡긴다.
데이터 정제에서는 경량 모델이 표준 형식, 중복 항목, 확실한 형식 오류를 먼저 처리하고, 의미 중복 제거와 충돌 병합은 상위 모델로 escalate한다.
코드 리뷰에서는 JEV가 먼저 정적 검사와 낮은 위험도의 변경 사항을 걸러낸다. 아키텍처 영향, 보안 취약점, 모듈 간 로직은 더 강한 모델에 맡긴다.
이때 복제해야 할 것은 Claude Opus와 특정 JEV의 고정 조합이 아니라 라우팅 메커니즘이다.
다음 네 단계로 최소한의 버전을 구성할 수 있다.
- 단일 모델 baseline을 먼저 구축해 정확도, 비용, 지연 시간을 기록한다.
- 경량 모델이 결과, 이유, 신뢰도 신호를 함께 출력하도록 한다.
- 실제 오류에서 escalate 조건을 역추론해 감각적으로 임계값을 정하지 않는다.
- 동일한 샘플 세트로 ablation 실험을 수행해 서로 다른 escalate 비율의 효과를 비교한다.
간단한 라우팅 의사 코드는 다음과 같다.
def resolve(record, jev, opus):
result = jev.judge(record)
needs_opus = (
result.confidence < 0.72
or result.candidate_count > 1
or "identity" in result.risk_flags
)
if needs_opus:
return opus.judge(record, candidate_result=result)
return result
여기서 0.72는 데모용 값이며 Hightouch의 실험 매개변수가 아니다. 출시 전에는 반드시 직접 구축한 annotation set으로 보정해야 한다. 신뢰도와 업무 위험도를 분리하는 편이 더 좋다. 모델이 아무리 자신감을 가지더라도 명확한 컴플라이언스 기준을 넘을 수는 없다.
편집자 관점
이번 실험에서 더 중요한 것은 ‘대형 모델을 소형 모델로 대체한다’는 접근이 아니라, 프로덕션 AI 시스템 최적화의 단위가 개별 요청이 아니라 전체 의사결정 체인일 수 있다는 점이다.
모델 cascade는 앞으로 Agent 내부의 기법에서 비용 관리 계층으로 발전할 가능성이 크다. 고객 서비스, 품질 점검, 데이터 정제, 코드 리뷰에는 공통된 구조가 있다. 요청 난이도가 고르게 분포하지 않고, 소수의 어려운 샘플이 대부분의 오류를 만들며, 비싼 추론 예산을 쓰기에 적합하다.
이는 과거의 parameter fine-tuning과 다르다. 파인튜닝은 주로 하나의 모델이 처리할 수 있는 범위를 바꾸지만, cascade는 시스템이 요청마다 비용을 동적으로 선택하게 한다. Hightouch의 공개 자료에는 프롬프트와 평가 세부 사항도 포함돼 있어 결과를 재현할 출발점을 제공한다.
다만 현재 공개된 데이터만으로는 75% 감소가 모든 작업에 적용된다는 것을 입증할 수 없다. 신원 해석은 정답과 난이도 구분이 비교적 명확하지만, 개방형 글쓰기와 복잡한 계획에는 적용되기 어렵다. 라우팅 임계값이 부정확하면 절약한 비용이 재작업과 사람의 검토 비용으로 바뀔 수 있다. 추론 청구서뿐 아니라 P95 지연 시간, escalate 비율, 오판 유형, 예산 상한을突破했을 때의 시스템 동작도 함께 살펴야 한다.