의견

메모리 가격 500% 폭등, AI 기업의 TCO 공식이 다시 짜여지고 있다

12개월 만에 메모리 가격이 5배 뛰면서 성능 대비 가격 수준이 2007년으로 퇴행했다. GPU를 쌓아서 모델을 돌리던 경제성 계산이 힘을 잃고, MoE 같은稀疏化 архитектур가 새로운 변수가 됐다.

글자 크기

출처: Latent Space《Memory prices up 500% in 12 months》
https://www.latent.space/p/ainews-memory-prices-up-500-in-12

500%는 과장이 아니라 현물 시세다

이 숫자를 처음 봤을 때, 출처에서 단위를 안 적었나 싶어서 확인했다.

단위 표기는 맞았다. Latent Space가 인용한 현물 시장 데이터에 따르면, DRAM과 NAND 플래시는 지난 12개월 동안 500% 상승했다. 현물가, 즉 spot price다. 선물 예상도 아니고, 애널리스트 전망도 아니고, 지난주 실제로 거래된 가격이다.

더 통렬한 비교는 성능 대비 가격 비율이다. 이 추세면 올해 연말쯤 메모리의 가성비는 2007년 수준으로 퇴행한다. 2007년은 1세대 iPhone이 나온 해다.

스토리지 카테고리는 십수 년 동안 무어의 법칙 덕분에 조용히 저렴해져 왔다. 비싸질 거라고 생각한 사람은 없었다. TCO를 계산할 때 주요 변수로 넣는 사람도 없었다.

이제 다시 계산해야 한다.

왜 하필 지금 폭발했나

메모리 가격 폭등은 드문 일이 아니다. 몇 년 주기로 한 번씩 온다. 다만 이번엔 강도가 다르다. 세 가지 힘이 동시에 부딪혔다.

첫째, HBM이 생산능력을 먹어 치우고 있다. HBM(고대역폭 메모리)은 AI 가속카드 전용이다. H100, H200, B200 카드 하나당 HBM3e가 여러 세트씩 붙는다. HBM은 첨단 패키징과 복잡한 Die Stacking 공정을 쓰기 때문에 점유하는 웨이퍼产能이 일반 DRAM의 3배다. 같은 라인을 HBM에 쓰면 DDR5를 못 만든다. 세 개 원래厂商가 일반 DRAM 라인을 HBM으로 돌리는 중이라 DDR5 공급이 빨려나가고, 가격이 먼저 오른다.

둘째, AI Capex 사이클이 도래했다. OpenAI, Anthropic, Meta, Google가 전부 클러스터를 확장하고 있다. xAI의 10만 카드 클러스터는 이미 가동 중이고, OpenAI의 Stargate 프로젝트는 1조 8천억 달러를 쏟아붓는다. 이런 클러스터는 카드 한 장당 HBM을 80GB, 심하면 192GB씩 달고 나가기 때문에 수요는 실재한다.

셋째, 세 개 원래厂商가集体로 생산을 통제한다. Samsung, SK Hynix, Micron이 최근 2년간默契하게 생산을 통제해 왔다. 자본 지출을 줄이고 또 줄였고, 생산능력 확대를 의도적으로 눌렀다. 공급 곡선이 인위적으로 평평해졌다.

HBM3e와 HBM4의 생산능력은 Nvidia와 몇몇 대형 고객사에 우선 묶여 있다. 중소 매수자는 줄을 서도 차례가 오지 않는다. 이건 단순한 사이클 변동이 아니라 구조적 부족이다.

GPU를 쌓아 올리던 경제 모델이 무너졌다

지난 2년간 AI 회사들이 훈련 비용을 계산할 때 쓰던 단순화된 모델이 있었다.

총비용 ≈ GPU 구매 + 전기료 + 데이터센터 + 냉각

메모리는 GPU의 부속품 취급을 받았다. 하드웨어 비용에 포함은 시키되 비중은 크지 않았다.

이 모델은 이제 안 돌아간다. HBM이 AI 훈련 하드웨어 비용에서 차지하는 비중이 약 20%에서 40% 가까이 뛰었다. B200 한 장에 HBM만으로 1만 달러 이상이 사라지고, BOM 구성 자체가 완전히 달라졌다.

더 골치 아픈 건 대역폭 병목이다. GPU 연산력은 세대마다 2배씩 뛰는데, HBM 대역폭은跟不上간다. 모델 추론 시 파라미터가 메모리에서 연산 장치로 옮겨가야 하는데 대역폭이 부족하면 GPU는 놀게 된다. Nvidia가 GTC 2025에서 스스로 인정했는데, B200이 많은 추론 워크로드에서 피크 FLOPS를 채우지 못하는 이유가 HBM 대역폭 병목 때문이다.

OpenAI, Anthropic 같은 등급의 플레이어들은 TCO 표를 지난 몇 달 동안 여러 차례 뒤엎었다. Anthropic CEO Darío Amodei는 이전에 한 차트를 올린 적이 있는데, 최전선 모델 훈련 비용이 이미 1억 달러 급에 도달했다는 내용이었다. 그것도 이번 메모리 가격 폭등분을 계산하지 않은 수치다.

MoE 아키텍처의 진짜 가치가 이제야 드러난다. 총 파라미터 수는 클 수 있지만, 매 추론마다 일부만 활성화되기 때문에 메모리 단가 상승을 직접 상쇄해 준다. 이게 2024년 이후 모든 플레이어가 MoE에 베팅하는 근본적인 이유다.

MoE와稀疏化가 오히려 구명투명이 됐다

직관에 반하는 얘기를 해보자면, 이번 메모리 가격 폭등에서 MoE 모델이 오히려 이득을 봤다.

전통적인 Dense 모델은 70B 파라미터면 70B 그대로고, 추론할 때마다 전체를 불러오기 때문에 필요한 메모리는 고정이다. DeepSeek-V3 671B의 총 파라미터 수는 위협적으로 보이지만, MoE 아키텍처를 썼기 때문에 매 추론마다 37B, 약 5.5%만 활성화된다. Mixtral 8x7B도 마찬가지로 활성화 비율이 12.5%다.

같은 하드웨어로 더 많은 유저를 서비스하거나, 같은 유저 수 기준으로 하드웨어 투자를 절반 이상 줄일 수 있다는 뜻이다. DeepSeek가 직접 공개한 V3 훈련 비용은 558만 달러이고, Llama 3.1 405B의 훈련 비용은 추산 1억 달러에 가깝다. 동등한 능력에 비용 차이가 두 자릿수다.

핵심 로직은 이렇다.

Dense 모델: 하드웨어 비용 ∝ 총 파라미터 수
MoE 모델: 하드웨어 비용 ∝ 활성화 파라미터 수, 총 파라미터 수와 약한 상관관계

메모리가 비싸질수록 MoE의 상대적 우위가 커진다. 그래서 Nvidia 자체도 Minitron 같은稀疏화 방안을 밀고 있다. 칩 제조사마저 소프트웨어로 하드웨어 병목을 헤지하고 있는 셈이다.

누가 시장에서 밀려나는가

거대 기업만 영향받는 건 아니다.

중소 모델 회사: 직접 모델을 훈련하고 API를 파는 회사들의 경우, 하드웨어 비용이 선택이 아니라 최대 지출 항목으로 갑자기 부상했다. 가격 상승률을融资 속도가 따라가지 못하면, 가격을 올리거나 문을 닫아야 한다.

자체 클러스터를 구축한 스타트업: GPU만 손에 넣으면 다 해결된다고 생각했는데, GPU가 지금 시스템 안에서 가장 부족하지 않은 부품이라는 걸 몰랐다.

추론 서비스 마진이 얇은 애플리케이션 계층: Bot, Agent, 수직 시나리오 앱은 전부 낮은 단가와 높은 동시성을 기반으로 성장해 왔다. 메모리 가격 폭등이 마진을 그대로 삼킨다. 기존에 채팅 세션 하나당 30%였던 마진이 10% 아래로 떨어질 수 있다.

Anthropic 같은 등급은 고객 단가를 올려서 희석할 수 있고, Cursor 같은 회사는 비용을 개발자에게 전가할 수 있다. 하지만 중소 플레이어에게는 그럴 가격 결정권이 없다.

앞으로 12개월간 볼 지표

이번 가격 상승이 6개월로 끝날지, 3년으로 갈지를 결정할 변수가 세 개 있다.

HBM4 생산능력. SK Hynix와 Samsung이 HBM4 양산 첫 주문을 놓고 경쟁하고, Micron도 뒤지지 않는다. HBM4는 stack당 용량이 24GB에서 36-48GB로, 대역폭은 2배로 뛰었다. capacity ramp가 순조로우면 2025년 말에 HBM GB당 비용이 내려가긴 하겠지만, 추세를 뒤집기에는 부족하다.

중국산 DRAM 증산. Changxin Memory(CXMT)의 DDR5 생산능력이 2025년에 월 6만 장 웨이퍼 규모로 커지고, YMTC도 NAND 쪽에 3D NAND 라인을 추가했다. 안정적으로 공급하기만 하면 글로벌 공급의 실질적 변수가 된다. 다만 첨단 공정의 수율과 수율 안정성은 아직 세 개 원사와 1-2세대 차이가 있다.

ASIC 대체 속도. Google TPU, AWS Trainium, Microsoft Maia 같은 전용 칩은 메모리 서브시스템을 자체 정의하기 때문에 HBM 범용 시장의 영향을 받지 않는다. ASIC 노선이 제대로 먹히면 Nvidia 범용 GPU의 가격 결정권이 약해지고, HBM 협상력에도 간접 영향을 준다.

내 판단은 이렇다. 이번 메모리 가격 상승의 꼬리는 최소 2025년 Q4까지는 간다. HBM4 순조로움 + 중국산 생산능력 확보 + ASIC 수요 증가가 동시에 만족되어야 2026년 중순에 정점을 찍고 내려올 수 있다. 셋 중 두 개라도 기대에 못 미치면 2027년까지 끌린다.

AI 회사들은 지난 2년간 "연산력은 계속 싸질 것"이라는 암묵적 전제 위에 올라탔다. 그 전제가 사라졌다.

앞으로는 TCO를 다시 그릴 때 메모리가 표의 가장 큰 칸이 될 것이다.

출처: https://www.latent.space/p/ainews-memory-prices-up-500-in-12