Red Hat이 지난달 벤치마크 보고서를 그대로 실었다. "decision AI"라는 신생 카테고리를 정면으로 비판한 내용이다. 결론은 잔인할 정도로 명확하다. Jev 같은 전용 결정 모델은 가드레일 테스트셋에서 LLM-as-a-judge에도, 전통 분류기에도 진다.
콘텐츠 안전이나 컴플라이언스 필터링 같은 엔지니어링 의사결정을 고민 중이라면, 이 건을 곱씹어볼 만하다.
Red Hat이 이번에 뭘 테스트했나
보고서 원제는 Benchmarking AI decision models against traditional guardrails이며, developers.redhat.com에 게재됐다. Hacker News에서도 한 차례 논쟁이 있었다.
테스트 시나리오는 AI 가드레일이다. 콘텐츠 안전·컴플라이언스 차단 같은 규칙 기반 판단이 핵심이다. 입력은 한段 텍스트와 정책 묶음(예: "PII 포함 금지", "의료 조언 금지")이고, 출력은 PASS/REJECT와 사유다.
세 가지 후보:
- 전용 결정 모델(대표: Jev)
- LLM-as-a-judge(범용 LLM으로 채점)
- 전통 분류기(SVM, 규칙 엔진, 경량 ML 파이프라인)
Jev가 뭔데 표적이 됐나
Jev는 스스로를 "decision AI"로 포지셔닝한다. 규칙 엔진과 LLM 사이의 중간 지대를 노린 제품이다. "LLM보다 안정적이고, 규칙보다 유연하다"는 게 마케팅 포인트이며, 설명 가능한 이진 판단을 전문으로 다룬다. 이 논리는 지난 1년간 VC들이 계속 되뇄 이야기다. LLM은 비싸고, 느리고, 통제하기 어렵다. 규칙 엔진으로는 모든 경계를 다 못 쓴다. 그 사이에 전용 모델이 필요하다는 주장이다.
Red Hat 보고서는 플랫폼 벤더가 직접 독립 평가를 진행한 사례로 읽으면 된다. 마케팅 글이 아니라, 엔지니어링 팀이 진심으로 돌린 벤치마크다.
벤치마크 결과: 세 방법의 승패
Red Hat은 세 가지 핵심 지표를 측정했다. 정확도, 오탐율, 단일 추론 비용. 정성적 결론은 대략 이렇다.
- 정확도 1위는 LLM-as-a-judge. 다만 비용이 한 자릿수 이상 비싸다.
- 전통 분류기의 오탐율이 가장 낮다. 비용은 사실상 무시할 수준이다.
- Jev는 어디에서도 1등이 아니다. 정확도는 중간, 오탐율은 가장 높음, 비용은 전통 분류기보다 몇 배 비싸다.
Red Hat 엔지니어는 보고서에서 매우 솔직하게 적었다. 구조화된 가드레일 작업에서는 "알려진 규칙" 구간에서 전통 분류기가 가장 안정적이고, LLM-as-a-judge는 모호한 의미 영역에서 더 강하다는 결론이다. Jev 같은 전용 모델은 어느 쪽에서도 우위를 점하지 못한다.
(정확한 수치는 원본 보고서 표를 참고하길 바란다. 전사에 따른 오류를 피하기 위해 여기선 숫자를 그대로 옮기지 않는다.)
왜 이 결론이 통념을 깨는가
지난 18개월간 VC와 벤더 PR은 계속해서 "decision AI", "reasoning model"이라는 새 서사를 밀어붙였다. 논리 흐름은 이랬다.
규칙 엔진 → 유연성 부족 → LLM 필요 → LLM 비쌈 → 전용 모델 필요 → decision AI는 새 카테고리
듣기에는 그럴듯하다. 그런데 보고서 데이터가 하나의 문제를 짚는다. 중간 레이어는 애초에 필요 없을 수 있다.
현실은 이렇다. 가드레일 규칙의 80%는 구조화되어 있다("SSN 형식 금지", "환불 약속 금지"). 전통 분류기와 정규식이면 충분하다. 나머지 20% 모호한 영역은 LLM-as-a-judge에 넘기고, 사람 검토를 추가하면 된다. 그 사이에 전용 모델을 끼워 넣으면 지연과 유지보수 비용만 늘어나지, 정확도는 오르지 않는다.
HN 토론에서 한 엔지니어가 이렇게 말했다.
"가드레일은 추론(reasoning)이 아니라 분류(classification)다."
그러면 가드레일에 뭘 써야 하나
보고서가 직접 답을 내리진 않았지만, 데이터는 명확한 선택 가이드라인을 가리킨다.
- 고위험·명확 규칙(PII, 카드번호, 위반 키워드): 전통 ML + 정규식. LLM은 손대지 말 것.
- 의미가 모호하고 맥락 이해가 필요한 경우(미묘한 차별 표현, 경계선상 정책): LLM-as-a-judge. 비용은 감수.
- 중간 영역: 먼저 A/B 테스트. 대부분은 "규칙 + LLM 2차 검토"로 충분할 가능성이 높다.
전용 결정 모델의 자리는 어디인가? 독립적인 자리가 없다.
이는 실제 운영 환경에서 관찰한 현상과도 일치한다. 가드레일 시스템 대부분은 프로덕션 압박을 받기 전 단계에서 결국 "규칙 엔진 + LLM 2차 검토"라는 2단 구조로 수렴한다. 중간에 Jev를 끼워 넣으면, 그저 파라미터 튜닝 대상이 하나 더 늘어날 뿐이다.
편집자 생각
이 보고서가 가치가 있는 이유는, 결론이 아주 놀랍기 때문이 아니다. 가드레일 작업에 전통 분류기가 더 안정적이라는 건 많은一线 엔지니어가 이미 알고 있던 사실이다. 진짜 주목할 만한 부분은 누가 이걸 올렸나다.
Red Hat Developer는 플랫폼 벤더의 콘텐츠 채널이다. 이런 독립 벤치마크를 그대로 싣는다는 건, 보통 그들 자신이 프로덕션에서 선택지를 고민할 때 "전용 결정 모델"이라는 루트가 비용 대비 효과적이지 않다는 걸 깨달았다는 뜻이다. 데이터 공개로 이어진 것이다. 이는 학술 논문보다 참고 가치가 훨씬 높다. 동기가 인용 수가 아니라 운영 비용이기 때문이다.
내 예측은 이렇다. 앞으로 6개월 안에 Cloudflare, Datadog, 아마도 AWS 같은 다른 플랫폼 벤더들도 이런 벤치마크를 따라 할 것이다. 보고서가 나올 때마다 decision AI 카테고리의 밸류에이션은 한 칼에 한 번씩 깎일 것이다. Glean, Decagon처럼 "decision model"을 핵심 서사로 내세운 회사들은, 리포지셔닝하지 않으면 다음 라운드 스토리텔링이 힘들어진다.
이번이 과거와 뭐가 다른가? 과거 "AI가 ML을 대체한다"는 비교는 대부분 AI 벤더 스스로가 냈다(LLM 벤더: "우리가 BERT보다 낫다"). 이번에는 대체 당하는 쪽(전통 플랫폼/툴 벤더)이 "AI 없이도 된다"고 뒤집어 말한 것이다. 스탠스가 정반대로 뒤집혔기에, 데이터 신뢰도는 본래부터 한 차원 높다.
불확실한 부분: 보고서 테스트셋은 영어 정책 문서 기반이며, 중국어나 롱테일 업계(의료, 금융)의 실제 트래픽은 다루지 않는다. 어떤 decision AI 회사가 수직 스코어에서 데이터 우위를 가진다면, 이 벤치마크는 그것을 잡아내지 못한다. 다만 그 정도 우위로는 독립 카테고리를 정당화할 수 없다.
출처: Benchmarking AI decision models against traditional guardrails - Red Hat Developer