어제 Cloudflare가 공식 블로그에서 Clef를 공개했다. Clef는 'decision models'라 불리는 소형 모델로, 구조화된 의사결정을 위해 설계됐으며 채팅이나 텍스트 완성이 목적이 아니다. 함께 제공되는 RL(강화학습) fine-tuning 플랫폼을 통해 Workers에서 직접 모델을 미세조정·배포·추론할 수 있다.
HN에서 단 하루 만에 168 포인트, 56개의 댓글이 달렸다. Cloudflare처럼 인프라 중심의 회사에서 이 정도 논의가 발생하는 것은 이례적이다. '모든 작업에 LLM이 필요한 것은 아니다'라는 메시지에 대해 커뮤니티가 할 말이 많았던 모양이다.
Clef란 무엇인가? LLM과 어떻게 다른가
Cloudflare의 정의는 직관적이다. Decision models는 '구조화된 의사결정'을 위해 설계된 모델이며, 개방형 텍스트 생성을 위한 것이 아니다.
쉽게 풀면 이렇다. 고정된 형식의 입력(여러 특징 값, 사용자 행동 로그, 규칙 집합 등)을 넣으면 명확한 의사결정 결과(분류 레이블, 라우팅 선택, 위험도 점수, Boolean 판단)를 돌려준다. '가을에 관한 시 한 편 써줘' 같은 요청은 처리하지 못한다.
기존 LLM과의 경계는 다음 세 지점에서 나뉜다.
- 입출력 구조: LLM은 개방형 입력 + 자유 생성; decision models는 구조화된 입력 + 고정 schema 출력
- 작업 포지셔닝: LLM은 '이해 + 창작' 시나리오에 적합; decision models는 '판단 + 선택'에 적합
- 리소스 오버헤드: decision models는 일반적으로 훨씬 작다 — 수 MB에서 수백 MB까지, 응답 지연은 밀리초 단위까지 가능하며 비용은 차원이 다른 수준이다
Cloudflare는 Clef의 구체적인 모델 아키텍처를 명시하지 않았지만, 포지셔닝으로 미뤄보면 낮은 지연 추론에 최적화된 어떤 encoder-only 혹은 small transformer 형태일 가능성이 높다.
엣지 추론 + RL 미세조정: Cloudflare의 계산
Clef는 단독 제품이 아니다. Cloudflare의 Workers 생태계 전체와 결합되어 있다.
전체 흐름은 다음과 같다.
- Cloudflare가 제공하는 RL fine-tuning 플랫폼을 사용해 자신의 의사결정 작업에 맞게 모델을 학습/미세조정한다
- 학습이 끝난 모델을 Workers에 바로 배포한다
- 사용자 요청은 가장 가까운 엣지 노드에서 추론을 마치고, 지연은 안정적으로 밀리초 수준을 유지한다
이 조합의 진짜 위력은 '모델이 얼마나 강력한가'가 아니라 '체인이 얼마나 짧은가'에 있다. 전통적인 방식은 데이터 → 중앙으로 전송 → 대형 모델 추론 → 결과 반환 순이다. Cloudflare가 그리는 체인은 엣지 노드에서 바로 추론 → 반환이다. 중앙 호출도, 대형 모델도 필요 없으며, 지연은 500ms에서 20ms로, 비용은 요청당 $0.001에서 $0.00001 수준으로 떨어질 수 있다.
Cloudflare의 진짜 계산은 플랫폼 락인이다. 누군가 Clef와 Workers를 결합해 부정거래 탐지 시스템, 지능형 라우터, 콘텐츠 분류기를 한 번 만들면, 그 워크로드는 영원히 Cloudflare 엣지 네트워크에 남는다. AI 모델은 미끼이고, 인프라가 그물이다.
HN 168 포인트, 커뮤니티는 무엇을争论하는가
게시물 링크 news.ycombinator.com/item?id=49923692에서 댓글은 주로 세 파로 나뉜다.
낙관파 — 대의는 '진작 이렇게 했어야 했다'다. 한 사용자는 자신의 회사에서 OpenAI API에一年 쓰던 비용을 자체 호스팅 소형 의사결정 모델로 바꾸면 80% 이상 절감되고 지연까지 줄어든다는 계산을 보여주었다.
회의파 — 본질적으로 마케팅 용어 변경에 불과하다며, decision models는 새로운 개념이 아니라 10년 전 분류기의 새 포장일 뿐이라고 주장한다. '어떤 tabular data + gradient boosting도 이 역할을 할 수 있는데, 왜 신경망을 써야 하나?'
경계파 — Cloudflare가 또 다시 '락인'을 만들고 있다고 우려한다. 모델 학습·배포·추론 전부를 자사 생태계에 올려두면, 이후 마이그레이션 비용은 매우 높아진다. '먼저 무료로 풀어주고, 의존도가 깊어지면 과금하기 시작하는 패턴'이라는 것이다.
필자의견으로는 회의파의 주장 중 일부가 일리가 있다. decision models라는 개념 자체는 새로울 게 없다. 하지만 Cloudflare의 진짜 가치는 전체 툴체인을 엣지 네트워크에 패키지로 묶었다는 점에 있으며, 이러한 'batteries included' 경험을 직접 처음부터 구축하는 것은 번거롭다.
Decision models는 LLM을 대체할 수 있는가? 3가지 반(反)합의 관찰
필자의 판단은 이렇다. 완전한 대체는 불가능하지만, 지금 LLM에 잘못 매칭되어 있는 수많은 작업을 흡수할 수는 있다.
구체적으로 세 가지 관찰이다.
1. 분류·라우팅·리스크 관리 작업은 소형 모델이 우월한 경우가 많다.
이런 작업에 LLM을 쓰는 것은 '닭 잡는 데 소 잡는 칼을 쓰는' 격이다. 댓글 하나가 스팸인지 판단하라고 하면, LLM은 수십 GB의 파라미터를 로드하고 수백억 번의 플로팅 연산을 수행한 뒤 yes/no를 뱉어낸다. 반면 수 MB짜리 텍스트 분류기는 정확도 95%를 보이고, 지연은 두 자릿수 낮고, 비용은 세 자릿수 낮다.
2. 의사결정 작업은 '창의성'보다 '생각의 폭'(controllability)에 대한 요구가 훨씬 높다.
LLM의 가장 골치 아픈 점은 무엇인가? hallucination과 재현 불가, 행동 드리프트이다. 부정거래 탐지 시나리오에서 오늘은 pass, 내일 같은 입력에 fail을 판정하면 사고다. 하지만 창의적 글쓰기에서는 이러한 '발산성'이 오히려 장점이다. 의사결정 모델은 구조가 단순하고 행동이 예측 가능하기에, 생산 환경의 요구에 더 부합한다.
3. RL 미세조정이 만들어 생산 환경의 '전문화'를 가능하게 한다.
예전 소형 모델의 최대 문제는 범용 능력이 떨어지고 커스터마이징 비용이 높다는 것이었다. 하지만 RL fine-tuning이 이 점을 바꾸었다. 자신의 실제 작업에 맞춰 소량의 샘플만으로 빠르게 미세조정해 고도로 전문화된 의사결정 모델을 만들 수 있다. Cloudflare가 이 툴체인을 오픈소스로 풀었다는 것은 그门槛이 크게 낮아졌다는 뜻이다.
Clef의 의의는 'LLM을 대체하는 것'이 아니라 '어떤 작업이 반드시 대형 LLM이어야 하는가'라는 기본 가정을 테이블 위에 올려놓고, 모두에게 다시 생각하게 만든다는 점'이다.
편집자 생각
왜 이 일이 과거 몇 차례의 '소형 모델 vs 대형 모델' 논의와 구별되는가?
과거 논의는 기본적으로 '모델 레이어'에 집중했다 — Phi-3가 GPT-4보다 몇 배 작은가, Gemma 2가 폰에서 돌아가는가. 하지만 Cloudflare가 이번에 내민 것은 단일 모델이 아니라 모델 + 미세조정 플랫폼 + 엣지 배포의 풀 스택이다. 이러한 '패키지 솔루션'의 진짜 위력은 '소형 모델을 쓰겠다'는 선택의 엔지니어링 비용을 거의 0까지 낮췄다는 데 있다.
Cloudflare의 진짜 의도는 AI 자체가 아니다. 단지 모델을 만들고 싶었다면 HuggingFace repo 하나면 충분하다. 실제로 노리는 것은 Workers 플랫폼을 AI 추론의 사실상 표준 인프라로 만드는 것이다. 누군가 Clef로 프로덕션 시스템을 한 번 구축할 때마다, Cloudflare는 한 명의 장기 고객을 확보한다. 이것은 AWS가 초기에 S3 무료 크레딧으로 사용자를 잡았던 것과 동일한 구조다.
아직 확실하지 않은 부분이 있다: RL 미세조정 플랫폼이 어디까지 개방되는가? Cloudflare 자체 모델만 지원하는가, 아니면 HuggingFace의 임의의 오픈소스 모델과 호환되는가? Cloudflare GPU에서만 돌아가는가, 아니면 BYOC(클라우드持ち込み)를 지원하는가? 답이 모두 전자라면 '오픈소스'라는 단어에 상당한 할인(discount)이 붙어야 한다. 블로그 글에는 자세한 설명이 없었으며, 코드 저장소가 공개되어야 확인할 수 있다.
마지막으로 한 가지 판단을 남긴다. 앞으로 12개월 안에 '소형 의사결정 모델로 해결 가능한 작업'을 LLM 스택에서 잘라내는 기업이 점점 더 많아질 것이다. 이것은 기술 트렌드가 아니라 경제학 트렌드다. 연간 청구서가 10배씩 오르는데, 그중 80%의 호출이 사실은 '예/아니오' 판단만 필요할 때, 아키텍처를 교체하는 것은 시간 문제다.