모델 학습은 시작일 뿐이다. Llama 4, Flux 같은 오픈소스 가중치가 HuggingFace에 공개돼 있는 상황에선 누구나 모델을 다운로드할 수 있다. 하지만 70B 모델을 50ms 이내로 응답시키고, 단일 추론 비용을 몇 센트 수준으로 낮추는 건 완전히 다른 영역의 이야기다.
최근 Latent Space의 Inference Engineering Masterclass 팟캐스트 설명란에는 Baseten의 Series F 밸류에이션이 $13B로 적혀 있다. 이 숫자는 다소 비현실적이다. 상위 AI 인프라 기업들의 펀딩 흐름을 보면 $1.3B 정도가 합리적인 수준이다. 요약본 자체의 오기일 수도 있고, 의도된 이목을 끌기 위한 수단일 수도 있다.
다만 이번 글의 핵심은 펀딩 액수 자체가 아니다. 주목해야 할 건 추론 엔지니어링(inference engineering)이라는赛道가 학습보다 더 치열해지고 있다는 사실이다.
숫자부터 정리하자
Latent Space 팟캐스트 설명란에 적힌 Series F 밸류에이션은 $13B다. 비교 기준은 명확하다.
- Together AI: 2024년 말 기준 Series C에서 약 $1.25B
- Anyscale: 2022년 C라운드 후 약 $2.5B, 최근 라운드 미공개
- CoreWeave: 상장 직전 마지막 라운드 약 $19B — NVIDIA H100 클러스터급 플레이어
Baseten은 추론 PaaS를 메인으로 하지 GPU 클라우드 렌탈이 아니다. 규모 면에서 Together, Fireworks와 같은梯队다. $13B는 CoreWeave에 필적하는 숫자로, 설립 5년 차 추론 최적화 전문 기업에게는 맞지 않는 밸류에이션이다.
더 가능성이 높은 숫자는 $1.3B다 — 하나는 Series F 라운드의 펀딩 금액, 다른 하나는 라운드 후 밸류에이션이다. Latent Space 요약에는 밸류에이션이라 적혀 있지만, 펀딩 금액과 혼동하기 쉽다.
어떤 숫자가 진짜든, 펀딩 흐름 자체는 하나의 사실을 보여준다. 추론 쪽으로 돈이 흐르고 있다.
2024년 초만 해도 학습 클러스터와 scaling law가 레이스의 중심이었다. 현재 학습 쪽의 병목은 데이터, alignment, post-training이다. 반면 추론 쪽의 병목은 전혀 다른 차원이다 — latency, cost, throughput.
자금이 추론으로 이동하고 있다.
추론 엔지니어링이란 무엇인가: "배포"로 보면 안 된다
大多数人가 이해하는 대규모 모델 적용 = 학습 완료 + 배포. 이런 이해는 너무 거칠다.
Baseten은 팟캐스트에서 autoregressive 모델과 diffusion 모델의 추론 과정을 inference stack 전체를 아우르는 엔지니어링 문제로 다뤘다.
- Batching: 단일 요청 vs 배치 요청, latency와 throughput 사이의 균형
- Quantization: FP16 → INT8 → INT4, 모델 크기 축소와 정확도 손실의 trade-off
- KV Cache: autoregressive 추론에서 attention key/value를 캐싱, 중복 계산 절감
- Continuous Batching: batch 구성을 동적으로 조정, 모든 요청이 끝나기 전에 새 요청을 합류
- Speculative Decoding: 작은 모델이 초안을 작성하고 큰 모델이 검증
각 항목이 독립된 최적화 전장이다. Together의 spec infer, Fireworks의 Attention Optimizer, vLLM의 PagedAttention — 모두 같은 전장에서 싸우는 서로 다른 무기다.
구체적인 예를 들면, vLLM의 PagedAttention은 KV cache를 가상 메모리처럼 페이지 단위로 관리해 긴 시퀀스 요청의 메모리 낭비를 기존 방식 대비 수 배에서 거의 0 수준으로 낮췄다. 표면적인 최적화가 아니라 GPU utilization 숫자에 그대로 반영되는 단단한 기술이다.
# vLLM continuous batching 예제
from vllm import LLM, SamplingParams
llm = LLM(model="meta-llama/Llama-3-70B-Instruct")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
# continuous batching이 batch 내 요청 수명을 자동 관리
outputs = llm.generate(["用一句话解释 KV cache"], sampling_params)
이 코드를 실행하면 vLLM이 내부적으로 KV cache 페이징, continuous batching, 동적 스케줄링을 자동으로 처리한다. 개발자는 이런 디테일을 건드릴 필요가 없지만, Baseten, Together 같은 회사는 모든 레이어를 완전히 이해해야 한다.
왜 지금인가: 학습 병목이 추론 병목으로 자리를 내줬다
2024년에는 학습 클러스터와 scaling law가 핵심 이슈였고, GPU 생산 능력이 희소 자원이었다. 지금은 NVIDIA H100, H200 생산 능력이 더 이상 주요 모순이 아니다. 비용을 들이면 몇 개월 안에 카드를 받을 수 있다.
진짜 모순은 추론 쪽으로 옮겨갔다.
- 누가 Llama 70B를 50ms 이내로 실행할 수 있는가?
- 누가 Flux 이미지 1장을 생성하는 GPU 비용을 몇 센트까지 낮출 수 있는가?
- 누가 폭발적인 트래픽에서도 p99 latency를 안정적으로 유지할 수 있는가?
이런 문제의 해법은 GPU를 더 사는 것이 아니라 엔지니어링 최적화다.
직관과 반대되는 사실 하나: 많은 LLM 애플리케이션에서 한계 비용의 70% 이상이 추론에서 발생한다. 학습에 들어가는 일회성 투자는 주요 변수가 아니다. 이는 추론 최적화의 ROI가 학습 최적화보다 더 직접적이라는 뜻이다.
Baseten의 해자(moat): 모델이 아니라 스케줄링과 컴파일
Together, Fireworks, Anyscale 같은 플레이어들과 비교했을 때 Baseten은 inference stack의 깊이를 강조한다. 팟캐스트에서 Philip Kiely와 Ali Taha가反复 언급한 단어가 있다: autoscaling.
추론 쪽 autoscaling은 전통적인 웹 서비스보다 훨씬 어렵다. LLM 요청의 token 수는 차이가 매우 크고(10 token vs 2000 token), 단일 요청의 GPU 소요 시간을 사전에 알 수 없다.
전통적인 CPU utilization을 autoscaling 신호로 쓰면 LLM 추론은 심각하게 under-provision되거나 over-provision된다.
Baseten의 해법은 자체 개발 스케줄러다. 요청의 예상 token 수, 모델의 현재 부하, GPU 큐 길이를 기반으로 실시간 스케줄링을 수행한다. 스케줄러 코드량은 크지 않지만, 파라미터 튜닝 경험은 수 개월에서 수 년에 걸쳐 쌓인 결과다.
또 다른 해자는 컴파일 최적화다. vLLM, TGI, SGLang 같은 오픈소스 추론 프레임워크는 PyTorch로 작성돼 Python 인터프리터 오버헤드와 동적 그래프 스케줄링 오버헤드를 거쳐 실행된다. Baseten과 Fireworks 모두 자체 컴파일 레이어를 만들어 핫패스를 CUDA kernel이나 Triton으로 내리고 있다.
동질적 경쟁 구도에서 승패를 가르는 건 결국 기술 디테일이다.
팟캐스트에서 다루지 않은 이면
Masterclass는 Latent Space의 긴 인터뷰 형식이다. Philip Kiely와 Ali Taha가 Baseten의 엔지니어 대표로主讲했다. Masterclass 형식은 쉽게 布道로 변질되기 쉽다.主讲人は 자사가 잘한 일만語り하고, 잘못했거나 하지 않은 일은 피한다.
따라가 봐야 할 포인트를 몇 개 골라본다.
1. 오픈소스 모델 추론의 마진은 실제로 얼마나 되는가?
Llama 70B의 배포 비용은 vLLM으로 충분히 낮출 수 있다. 하지만 가격 책정 여지도 오픈소스 생태계에 의해 눌린다. 고객이 상대방도 오픈소스 모델을 쓴다는 사실을 알면 가격 협상에서 움직일 여지가 줄어든다. Baseten의 프리미엄은 "사용 편의성"과 "SLA"에서 나오지만, 이 두 가지가 실제로 얼마의 가치를 가지는가?
2. 기업 고객이 정말 "더 빠름"에 대해 추가 비용을 지불할까?
데모 단계에서 latency는 사활을 가르는 문제다. p99가 200ms에서 80ms로 떨어지면 주문归属가 결정될 수 있다. 하지만 운영 환경에 들어가면 "더 빠름"은 그만큼 큰 가치가 없다 — 200ms 더 기다려도 죽지 않는다. "속도"에 대해 비용을 지불하는 윈도우는 데모와 POC 단계에서만 열려 있을 수 있다.
3. 추론 최적화의 한계 수익이 체감하고 있는가?
vLLM의 PagedAttention이 "메모리 낭비" 문제를 해결했고, Continuous Batching이 "GPU 유휴" 문제를 해결했다. 다음 단계의 최적화는 어디서 올까? 하드웨어(Blackwell, B200), 모델 아키텍처(MoE, Hybrid), 아니면 새로운 알고리즘(speculative decoding, tree attention)? 만약 하드웨어 발전이 주요 동력이라면 소프트웨어 레이어의 해자도 그만큼 깊지 않을 수 있다.
4. 왜 Baseten은 모델을 하지 않는가?
Together는 자체 모델 파인튜닝 서비스를 출시했고 Fireworks도 fine-tuning을 하고 있다. Baseten은 계속 인프라 레이어에만 머문다. 이것이 전략적 일관성인가, 아니면 무언가를 놓친 것인가?
이런 질문들은 Latent Space 팟캐스트에서展开되지 않았다. 나중에 다뤄볼 만한 주제다.
마무리하며
추론 엔지니어링 시장은大多数의 인식보다 더 붐빈다. Together, Fireworks, Anyscale, Replicate, Modal, Baseten — 최소 여섯 개의 헤드 플레이어가 있다. 여기에 AWS Bedrock, Google Vertex AI 같은 클라우드 사업자까지 가세하면, 독립 PaaS 플레이어에게 남는 공간이 얼마나 되는지는 진짜 문제다.
반대로 생각해보면: 오픈소스 모델의 추론은 강성(long-term) 수요다. Llama, Flux 같은 오픈소스 가중치가 계속 다운로드되는 한 추론 인프라는 존재 이유를 가진다. Baseten, Together가 거는 것은 "추론 워크플로우도 결국 데이터베이스처럼托管될 것"이라는 베팅이다.
개발자에게 제안하고 싶은 건: 지금 inference PaaS를 고른다면 한 곳에 올인하지 말라는 점이다. Together는 spec decoding에서攻적이고, Fireworks는 Attention Optimizer에 노하우가 있으며, Baseten은 autoscaling의 깊이를 내세운다. 실제 워크로드로 벤치마크를 돌려 p99 latency와 token당 비용을 비교하는 게 벤더 팟캐스트를 듣는 것보다 유용하다.
이 판단이 옳은지는 3~5년 안에 결론이 날 것이다.
참고 출처: Latent Space Podcast: Inference Engineering Masterclass with Baseten