Cerebras가 조 매개변수급 모델의 배포 방법을 공개했습니다. 핵심은 매개변수 규모가 아니라 inference throughput, 병렬화 전략, token당 비용입니다. 초대형 모델 inference 인프라를 평가하는 팀에 실질적인 참고 자료가 될 수 있습니다.
Cerebras는 《How We Deploy Trillion-Parameter Frontier Models on Cerebras》를 공개하며 Cerebras 플랫폼에서 조 매개변수급 frontier model을 배포하는 방법을 다뤘습니다.
이번 공개는 새로운 ‘조 매개변수’ 모델 발표가 아닙니다. 기존 모델을 실제로 어떻게 구동하는지, 즉 모델 분할, 병렬 실행, inference 서비스, 시스템 연동을 설명했습니다.
이 내용은 Hacker News 메인 페이지에 올라가 27점과 댓글 7개를 받았습니다.
개발자가 관심에 둔 방향은 분명합니다. 전용 AI 가속 인프라가 초대형 모델 inference에서 비용 우위를 만들 수 있는,还是 몇몇의 폐쇄형 시나리오에 적합한才知道.
원문 자료:
- Cerebras 원문: https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
- Hacker News: https://news.ycombinator.com/item?id=50227356
이번에 실제로 공개된 것
Cerebras가 공개한 것은 새 모델이 아니라 일련의 배포 실무 사례입니다.
원문은 조 매개변수급 frontier model을 Cerebras 플랫폼에서 구동하는 과정을 다루며, 모델 inference와 병렬화, 시스템 연동에 관한 엔지니어링 접근법을 공개했습니다. 특히 production 환경에서 중요한 질문에 답합니다.
- 모델 가중치를 가속 시스템에 어떻게 적재하는가
- 계산 작업을 어떻게 분할하고 스케줄링하는가
- 연속 inference의 throughput을 어떻게 높이는가
- 모델 서비스가 칩을 일반 연산 카드처럼 사용하지 않고 하드웨어와 어떻게 협업하는가
이 부분이 중요합니다. 과거 ‘조 매개변수 모델’에 관한 보도는 대부분 training 규모, benchmark 성적, 공개일에 머물렀습니다. Cerebras는 이번에 논의를 deployment 단계로 끌어내렸습니다. 모델이 온라인 서비스를 지속할 수 있는가, token 하나에 얼마가 필요한가입니다.
따라서 정확히 이해하자면, 조 매개변수 모델을 출시한 것이 아니라 Cerebras가 조 매개변수급 모델을 어떻게 수용하는지를 보여준 것입니다.
조 매개변수 모델이 inference에서 어려운 이유
조 매개변수라는 규모는 직관적으로 들리지만, inference 단계에는 적어도 세 가지 서로 다른 병목이 있습니다.
1. 메모리 용량
먼저 간단하게 계산해 보겠습니다.
모델이 BF16 정밀도를 사용하고 매개변수당 2바이트를 차지한다고 가정하면, 1조 매개변수의 가중치만 약 2TB의 메모리가 필요합니다. FP8을 사용하더라도 가중치만으로는 1TB에 가까운 용량이 필요합니다.
여기에 다음 항목이 추가됩니다.
- KV cache
- activation
- 임시 workspace
- runtime 통신 버퍼
- /redundancy 및 장애 복구 공간
training cluster에 모델을 넣을 수 있다는 것과 단일 장비에 올릴 수 있다는 것은 별개입니다. 모델 병렬화를 사용하더라도 가중치는 여러 가속기에 나누어 저장해야 합니다.
2. 장비 간 통신
모델 병렬화에서는 layer 계산마다 장치 간 tensor 교환이 필요할 수 있습니다. 가중치를 저장할 수 있다는 것은 첫 단계일 뿐입니다.
칩 간 통신 latency가 지나치게 높거나 데이터를 칩 밖으로 반복해서 옮겨야 한다면, 이론상의 연산 성능을 실제 throughput으로 바꾸기 어렵습니다.
이것은 GPU cluster의 고전적인 문제이기도 합니다. NVLink, PCIe, InfiniBand 같은 interconnect를 사용하더라도 네트워크 계층이 복잡해질수록 software stack이 latency를 숨기기 어려워집니다.
3. batch 처리 효율
온라인 inference 시스템은 길이가 서로 다른 요청을 동시에 처리해야 합니다.
모든 요청의 길이가 같다면 정적 분할은 상대적으로 간단합니다. 실제 트래픽에는 짧은 prompt, 긴 context, 서로 다른 생성 길이가 섞여 있습니다. 시스템은 다음을 처리해야 합니다.
- 요청 queueing
- 동적 batch 처리
- 요청 간 scheduling
- KV cache 할당과 재사용
- 긴 요청이 짧은 요청을 막는 문제
따라서 ‘모델을 training할 수 있다’와 ‘허용 가능한 비용으로 inference 서비스를 지속할 수 있다’는 별개의 문제입니다.
전용 칩은 어떤 병목을 바꾸는가
Cerebras는 범용 GPU cluster를 조합해 초대형 시스템을 만드는 대신, 전용 AI 가속 인프라를 제공합니다.
Cerebras WSE 같은 시스템에서는 칩별 peak 연산 성능뿐 아니라 on-chip interconnect, memory bandwidth, 병렬 실행 방식이 핵심 차이입니다.
On-chip interconnect
GPU cluster는 보통 PCIe, NVLink, 고속 네트워크로 연결됩니다. topology, 계층 구조, 통신 경로가 tensor 분할 효율에 영향을 줍니다.
Cerebras는 대량의 processing unit을 하나의 wafer-scale 시스템에 배치하고 on-chip interconnect로 연결합니다. 통신 거리가 짧고 경로도 직접적입니다.
모델 병렬화에서 node 간 비용을 줄일 가능성은 있지만, 실제 이득은 interconnect 사양만으로 판단할 수 없습니다. compiler, runtime, 병렬화 전략이 hardware 장점을 충분히 드러낼 수 있는지도 함께 봐야 합니다.
메모리 bandwidth
LLM inference는 특히 batch size가 작을 때 memory access에 의해 제한되는 경우가 많습니다. 모델 가중치를 계속 읽어야 하며, 연산 성능의 peak만으로 실제 token throughput을 설명할 수 없습니다.
전용 시스템은 대체로 memory subsystem을 중심으로 설계됩니다. 대형 모델 inference에서는 단위 시간에 안정적으로 가중치와 KV cache를 얼마나 옮길 수 있는지가 paper상의 FLOPS보다 중요한 경우가 있습니다.
병렬 실행
범용 GPU의 병렬 framework는 이미 성숙하며, 그 생태계는 Cerebras가 넘어야 할 진입 장벽이기도 합니다.
전용 hardware의 진짜 가치는 기존 software에 칩만 교체하는 데 있지 않습니다. 모델 분할, task mapping, 통신 회피를 함께 바꿔야 합니다. 상위 model service가 기존 GPU cluster 방식으로 계속 scheduling된다면 software overhead가 hardware 장점을 삼킬 수 있습니다.
这也是 원문이 ‘모델 inference, 병렬화, 시스템 동기화’ 실무를 공개한 이유입니다. 판매하는 대상은 칩 하나가 아니라 칩, runtime, 배포 방법으로 구성된 시스템입니다.
엔지니어링 지표로 본 배포 품질
전용 AI infra를 평가할 때 네 가지 지표 그룹을 봅니다.
Throughput
먼저 초당 안정적으로 생성할 수 있는 token 수를 확인합니다. 가능하면 다음 항목을 구분하는 것이 좋습니다.
- prefill throughput
- decode throughput
- 서로 다른 입력 길이와 출력 길이에서의 성능
- 짧은 peak가 아닌 고부하에서 유지되는 지속 throughput
입력 길이, 출력 길이, 정밀도, batch size 없이 ‘초당 token 수’만 제시한다면 정보가 제한적입니다.
첫 token latency
채팅 서비스는 첫 token latency에 매우 민감합니다. 사용자는 출력이 이어지는 생성 과정은 견딜 수 있지만, 빈 화면만 보며 기다리는 것은 선호하지 않습니다.
TTFT는 queueing, prefill, 모델 분할, 장비 간 통신의 영향을 받습니다. 칩의 peak 연산 성능만으로 도출할 수 없습니다.
동시 처리량
모델 서비스는 하나의 요청만 처리하는 것이 아닙니다.
배포 품질은 최소한 다음 질문에 답해야 합니다.
- 동시에 몇 개의 요청을 온라인으로 처리할 수 있는가
- 동시 요청이 늘어날 때 latency가 얼마나 증가하는가
- 길이가 다른 요청이 섞였을 때 서로를 막는가
- KV cache가 용량 한계에 가까워지면 어떻게 성능을 조절하는가
Token당 비용
마지막으로 비용을 계산합니다.
单位 token 成本 =
总推理成本 ÷ 有效输出 token 总数
총비용에는 hardware 감가상각만 포함해서는 안 됩니다. 전력, data center, 네트워크, software license, 운영 인력, 낮은 utilization도 포함해야 합니다.
전용 시스템이 더 높은 hardware 단가를 통해 높은 utilization, 낮은 통신 비용, 단순화된 운영을 얻을 수 있다면 초대형 모델 inference에서 경쟁력이 있을 수 있습니다. 반대로 사업 트래픽의 변동이 크고 모델과 software stack이 빠르게 바뀌는 환경이라면 GPU의 범용성과 탄력적인 확장 가능성이 여전히 가치가 있습니다.
Cerebras 원문 링크: https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
현재 원문이 동일 정밀도, 동일 요청 분포, 동일 SLA 조건에서 동일 규모 GPU cluster와 비교할 수 있는 충분한 횡단 자료를 제시했는지는 확실하지 않습니다. 이것이 바로 ‘GPU를 대체할 수 있는가’를 판단할 때 가장 보완해야 할 부분입니다.
편집자 관점
전용 AI infra는 GPU를 전면적으로 대체하기보다 초대형 모델 inference부터 진입할 가능성이 높습니다. 초대형 모델은 interconnect, memory bandwidth, 병렬 통신에 가장 큰 부담을 주므로 전용 architecture의 고정 비용을 효과적으로 분산하기도 쉽습니다. 다만 model service는 서로 다른 모델과 context length, 변화하는 트래픽에 적응해야 하므로 GPU 생태계는 여전히 우위를 차지합니다.
이번 발표는 과거의 모델 출시 뉴스와 달랐습니다. Cerebras는 매개변수 수에 집중하지 않고 모델 분할, inference task의 병렬화, software와 hardware의 협업을 공개했습니다. laboratory benchmark가 아니라 production deployment를 다룬 것입니다. HN 메인 페이지의 27점과 댓글 7개도 개발자가 엔지니어링 실현 가능성에 관심을 두고 있음을 보여줍니다.
앞으로는 ‘전용 칩과 범용 GPU’를 결합한 hybrid architecture가 더 많이 등장할 것으로 봅니다. 안정적이고 utilization이 높은 핵심 모델은 전용 시스템에 두고, 새 모델 실험과 변동성이 큰 트래픽에는 GPU를 사용하는 방식입니다. Cerebras가 실제로 GPU를 대체할 수 있는지는 peak 연산 성능이 아니라 token당 비용, 확장 속도, software migration cost로 결정됩니다. 원문에서 답하지 않은 횡단 benchmark가 여전히 가장 큰 공백입니다.