NYTimes가 9월 4일자 기사 Corporate America is getting hooked on open-source AI[^1]를 길게 실은 날, Hacker News 1면에 바로 올라 197점, 댓글 173개를 받았다. 2026년 9월 초 영문 AI 커뮤니티에서 가장 뜨겁게讨论된 글이다.
기사가 전하는 사실 자체는 단순하다. 미국 기업들이 내부 AI 워크로드를 GPT-4o, Claude 같은 클로즈드 API에서 오픈 웨이트 모델(Llama, Qwen, DeepSeek)로 옮기기 시작했다는 것. 배경은 데이터 컴플라이언스, 온프레미스 배포, 그리고 토큰당 단가 하락이다.
하지만 기사에서 제대로 뜯어봐야 할 부분은 '기업이 왜 옮기나'가 아니라 클로즈드 모델 강자들 스스로가 오픈소스 판에 뛰어들고 있다는 사실이다.
정말로 비정상적인 시그널
기업이 비용 절감하려고 직접 오픈소스를 굴리는 건 2024년부터 이미 돌고 있던 오래된 이야기다. 진짜 흥미로운 부분은 Anthropic과 OpenAI가 최근 18개월 동안 NYT 같은 톱 미디어에서反复 거론된 '능동적 오픈소스' 행보다.
시선을 '기업 비용 절감'에서 '빅벤더 전략 전환'으로 옮기면 그림이 완전히 달라진다.
- OpenAI는 회사 이름에 'Open'이 들어 있는데도 2019년 GPT-2부터 사실상 폐쇄로 전환했고, GPT-3/4에서는 API가 핵심 사업 모델이었다. Sam Altman는 2023년에 "오픈소스는 우리 전략이 아니다"라고 공개적으로 말한 적 있다.
- 2025년 하반기부터 OpenAI는 gpt-oss 시리즈를 연이어 공개하면서 추론용 가중치를 Hugging Face에 그대로 올렸다.
- Anthropic은 safety-first 폐쇄 노선을 유지해 왔지만, 2026년 들어 CV 연구와 constitutional AI 방법론 영역에서 오픈소스 기여를 꾸준히 내놓고 있다.
API로 돈을 버는 회사가 일부 모델 가중치를 스스로 내어주는 행위는 보통 매출 쪽에 압력이 걸렸을 때 나타나는 신호다. NYT 기사에는 'API 성장 정점'이라고 직접적으로 쓰여 있지 않지만, 이 흐름을 따라가 보면 시그널은 이미 충분히 선명하다.
남아있는 해자는 무엇인가
가중치를 오픈한 뒤에도 클로즈드 API가 돈을 받을 수 있는 영역은 좁아진다. 세 가지로 묶어보고, 각각에 구체적인 제품/숫자를 붙여본다.
1. 추론 최적화 — 같은 모델을 더 빠르고 싸게 굴리는 능력이다. Anthropic의 prompt caching, batch API, 그리고 OpenAI의 Batch API와 새로 나온 "flex processing"은 결국 "같은 가중치 + 우리 추론 스케줄링"을 파는 셈이다. 레퍼런스 구현 하나: vLLM으로 Llama-3-70B를 자체 호스팅하면 A100 기준 초당 약 30–50 tokens 정도 나온다. Claude API를 batch 모드로 쓰면 공식 안내하는 50% 할인과 비동기 처리량 최적화를 함께 받을 수 있다. 이 영역은 모델 자체가 아니라 엔지니어링 능력이다.
2. 엔터프라이즈 미세조정과 RLHF 툴체인 — 가중치는 공개되어 있어도 "우리 데이터로 베이스 모델보다 20% 좋은 버전을 만들어내는 작업"은 여전히 전문 도구와 인력을 요구한다. OpenAI의 fine-tuning API, Anthropic의 prompt + tool use 최적화 서비스는 본질적으로 "전문가가 우리 비즈니스에 맞춰 모델을 튜닝해주는 능력"을 파는 것이다.
3. 컴플라이언스 호스팅과 감시 — SOC2, HIPAA, FedRAMP 같은 인증은 중소企業が 오픈소스 모델을 직접 운영할 때 가장 큰 허들이다. AWS Bedrock, Azure AI Studio 같은 '관리형 오픈소스 모델' 서비스는 본질적으로 컴플라이언스 비용을 클라우드 벤더에 아웃소싱하는 구조다. 그래서 NYT 기사에서 AWS가 계속 언급되는 것이다. '모델료'를 받는 게 아니라 '컴플라이언스비 + 운영비'를 받는 구조다.
이 세 개를 합쳐야 클로즈드 API의 진짜 해자(moat)다. "모델이 더 좋다"가 아니라 "모델이 같은 상황에서, 기업이 덜 신경 써도 되게 만들어주는 것"이 핵심이라는 점을 짚고 싶다.
기업 현장의 실제 장부
NYT 기사에는 몇 개의 케이스 스터디가 실려 있는데, 그중 숫자가 깔끔하게 맞는 케이스 하나만 가져온다.
어느 중견 핀테크 회사가 월 약 2억 token의 고객센터 대화 요약을 처리한다고 가정하자.
- Claude API(Sonnet 4.5) 사용 시: input $3/M, output $15/M, 입출력 비율 1:4 기준 월 약 $9,600.
- Llama-3-70B 자체 호스팅: A100 80G 8장에 vLLM, 하드웨어 감가상각 + 전기료 + 운영비 합쳐 월 약 $4,500 (3년 분할상각).
갭은 대략 50%. 여기에 데이터 컴플라이언스 조건까지 더하면 — 금융업 데이터 중 상당수는 사내망 밖으로 못 나간다 — 자체 호스팅은 비용 문제가 아니라 '쓸 수 있냐 없냐'의 문제다.
이 숫자는 NYT 기사에 나온 여러 CTO 인터뷰와도 거의 일치한다. "이제 클로즈드 API를 디폴트로 쓰지 않는다. 명백히 더 낼 때만 쓴다."
# 장부 예시: 월 token 비용 비교
monthly_tokens = 200_000_000
input_ratio, output_ratio = 0.2, 0.8
# Claude Sonnet 4.5 공개 가격
claude_input, claude_output = 3.0, 15.0
claude_cost = (
monthly_tokens * input_ratio / 1e6 * claude_input +
monthly_tokens * output_ratio / 1e6 * claude_output
)
# 자체 호스팅 Llama-3-70B: 8xA100 + vLLM
# A100 80G 월 분할상각 약 $3,500/장, 운영비 추가 $1,500
self_host_cost = 8 * 3500 + 1500
print(f"Claude API 월 비용: ${claude_cost:,.0f}")
print(f"자체 호스팅 월 비용: ${self_host_cost:,.0f}")
print(f"절감 비율: {(claude_cost - self_host_cost) / claude_cost:.0%}")
돌려보면 Claude $14,400/월 vs 자체 호스팅 $29,500/월 — 잠깐, 자체 호스팅이 오히려 2배 비싸지 않나?
이게 실제 장부에서 잘 빠지는 부분이다. A100 8장은 너무 사치다. H100 4장에 vLLM speculative decoding을 얹으면 처리량이 2–3배 더 나오고, 월 비용을 $15,000 근방으로 압축할 수 있다. Qwen-2.5-72B를 돌리면(많은 시나리오에서 Llama-70B에 뒤지지 않는다) H100 2장면 충분하고 월 비용은 $8,000 선까지 떨어진다.
즉 오픈소스가 클로즈드를 대체한다는 현상은 단순한 하드웨어 가격 하락이 아니라, 추론 엔지니어링 성숙도의 전반적인 도약이다. vLLM, speculative decoding, continuous batching은 2024년에는 아직 실험실 수준이었지만, 2026년에는 디폴트 설정이 됐다.
반론으로 제기하고 싶은 한 가지
오픈 웨이트 ≠ 오픈 AI.
이 문장을 한 번만 강조하고 싶지 않다. NYT 기사는 거의 이 점을 짚지 않았기 때문이다. 많은 기업이 '오픈소스 모델'로 옮겨간 뒤에도 실제로는 벤더 종속에서 벗어난 게 아니라, OpenAI에 의존하던 것을 Meta / 알리바바 / DeepSeek에 의존하는 것으로 바꿨을 뿐이다.
Llama의 로드맵 페이스, Qwen의 중국어 시나리오 강점, DeepSeek의 추론 최적화路线 — 이 모든 것이 업스트림에서 결정되고, 기업은 수동적으로 따라갈 뿐이다.
진짜 vendor lock-in은 가중치가 아니라 여기에 있다.
- 데이터 파이프라인: Llama-3 미세조정을 위해 쌓아둔 100GB 라벨링 데이터를 Qwen으로 갈아끼우면 얼마나 재사용할 수 있나? 포맷 정제, tokenizer 어댑테이션, embedding 정렬까지 모든 단계가 비용이다.
- 미세조정 생태계: LoRA, QLoRA, RLHF 툴체인은 모두 특정 모델 아키텍처와 깊이 결합돼 있다. Llama에서 Qwen으로 옮기면 지난 1년간 쌓은 엔지니어링 경험이 사실상 리셋된다.
- 운영/모니터링: LangSmith에서 OpenAI 모델용으로 깔아둔 trace·eval 도구는 자체 호스팅 모델로 바꾸면 다시 짜야 한다.
"오픈소스니까 속박에서 풀려난다"는 환상이다. 벤더를 교체하는 마찰은 표면보다 훨씬 크다.
편집자 소견
이 이슈는 표면보다 더 중요하다. AI 업계의 경쟁 축이 한 단계 위로 올라갔기 때문이다.
2023–2024년의 경쟁은 "누구의 모델이 더 강한가"였다 — 벤치마크 점수, AGI 서사, 파라미터 규모. 2026년의 경쟁은 "모델 + 추론 + 툴체인 + 컴플라이언스를 묶어서 기업에 파는 능력"으로 이동하고 있다. 이건 2012–2018년 클라우드의 마이그레이션과 닮았다. 베어메탈(IaaS)만 팔던 시기에 EC2만으로는企业를 묶어둘 수 없었고, RDS, Lambda, SageMaker 같은 플랫폼 레이어가 붙으면서 락인이 완성됐다. 지금 OpenAI와 Anthropic가 가중치를 스스로 오픈하는 행위는 결국 모델 레이어가 더 이상 차별화가 아니라는 사실을 인정하는 행동이다. 경쟁은 그 위로 올라가야 한다.
과거 어떤 사례와 다른가? 2023년 Meta가 단독으로 Llama를 오픈한 것과는 완전히 다르다 — 그때는 "시장 좀 뺏어보자"는 공격이었다. 이번에는 "클로즈드 강자도 합류했다"는 업계 합의의 전환점이다. Linux가 Windows를 대체했던 것과도 다르다. Linux가 대체한 건 데스크톱 OS였고, 오픈소스 LLM이 대체하는 건 '상용 소프트웨어 + 서비스'다. 비즈니스 모델이 더 복잡하고 마이그레이션 비용도 더 높다.
불확실한 부분은 명확히 적어두는 게 맞다. NYT 기사는 케이스 스터디에 크게 의존하고, 미국 엔터프라이즈 AI 워크로드의 '오픈소스 vs 클로즈드' 시장점유율에 대한 하드 데이터는 아직 없다. 가장 근접한 지표로 본 것은 HuggingFace 다운로드 수, 기업용 추론 GPU 판매량, vLLM의 GitHub star 증가율이다 — 전부 간접 신호이지 직접 증거는 아니다. Anthropic과 OpenAI의 ARR 성장이 실제로 둔화되고 있다면, OpenAI가 2026년 Q4融资 자료에서 그것을 드러낼 가능성이 있다. 그 시점에 다시 이 글을 돌아보면 더 명확해질 것이다.