DeepX는 2세대 LPDDR5X PIM 칩의 탭아웃을 완료했다. 회사는 최대 100B 모델을 지원하고 추론 소비 전력이 5W 미만이라고 밝혔다. 핵심은 파라미터 규모가 아니라, 제시된 수치를 제3자가 독립적으로 재현할 수 있는지다.
5W로 100B 실행, DeepX가 무엇을 주장했나
EETimes 보도에 따르면 DeepX는 2세대 LPDDR5X PIM 칩을 탭아웃했다. 회사가 공개한 수표는 인상적이다. 이전世代 대비 6.7배 향상되며 최대 1000억 파라미터 모델을 지원하고, 추론 소비 전력은 5W 미만이라고限界했다.
먼저 ‘모델 지원’이 무엇을 뜻하는지 구분할 필요가 있다. 1000억 파라미터는 지원 가능한 모델 규모의 상한이지, 한 칩이 실용적인 속도로 전체 모델을 처리할 수 있다는 의미은 아니다.
파라미터당 4bit만 사용해도 100B 가중치에는 약 50GB의 저장 공간이 필요하다. 8bit이면 약 100GB다. KV cache, 런타임 작업 공간, 긴 컨텍스트로 인한 추가 사용량까지 고려하면 실제 요구량은 더 커진다.
따라서 ‘100B 지원’과 ‘5W 이내의 유효한 추론’ 사이에는 최소한 메모리 용량, 대역폭, 지연 시간, 정밀도라는 네 가지 문제가 놓여 있다.
또한 5W 미만이라는 주장에는 전제 조건이 있다. 칩 다이만 측정한 것인지, 패키징과 메모리와 호스트와 냉각을 포함한 시스템 전체를 측정한 것인지 구분해야 한다. 지속적인 토큰 생성 중의 값인가, 짧은 forward 실행 한 번의 값인가도 명확해야 한다.
이러한 측정 기준이 불명확하다면 5W는 재현할 수 없는 숫자에 불과하다.
전력 절약의 핵심은 모델이 아니라 데이터 이동
전통적인 가속기는 대체로 다음과 같은 데이터 경로를 사용한다.
LPDDR / HBM → 片上缓存 → 计算单元
모델이 한 계층을 실행할 때마다 가중치가 여러 경로를 오갈 수 있다. 계산 자체가 반드시 가장 큰 에너지를 소비하는 것은 아니다. 대량의 비트를 끊임없이 옮기는 과정이 더 큰 병목이 될 수 있다.
PIM(Processing in Memory)은 메모리 근처 또는 내부에 계산 기능을 배치한다. 목표는 단순하다. 데이터 이동을 줄이고, 데이터를 기다리는 시간을 줄이는 것이다.
DeepX의 이번 칩은 LPDDR5X와 처리 메모리(PIM) 아키텍처를 적용해 모델 추론 과정의 데이터 이동과 에너지 소비를 줄였다. 메모리 대역폭이 제한인 생성 작업에서는 더 낮은 에너지 소비로 이어질 가능성이 있다.
그러나 PIM은 DeepX만의 아이디어가 아니다. Samsung과 SK hynix 같은 메모리 기업들은 오랫동안 관련 연구를 이어왔다. DeepX는 LPDDR5X에 자체 계산 아키텍처를 결합하고, 초대형 HBM 방식이 아니라 에지 추론을 목표로 삼았다.
기술 방향 자체는 합리적이지만, 상용화의 성패는 실제 제품과 실측 성능으로 판단해야 한다.
6.7배 향상에는 더 엄격한 비교 조건이 필요하다
‘6.7배’는 홍보하기 편리하지만 그대로 비교에 적용하기는 어려운 수치다.
어느 세대의 칩과 비교한 값인지, 동일한 모델을 사용했는지, 정밀도가 INT4·INT8·FP16 중 무엇인지, batch size가 1인지 32인지 확인해야 한다.
지연 시간과 처리량도 서로 다른 지표다.
- 지연 시간은 토큰 하나가 나오는 데 얼마나 걸리는지 나타낸다.
- 처리량은 초당 몇 개의 토큰을 처리할 수 있는지 나타낸다.
- 피크 TOPS는 칩의 이론적 연산 성능 상한을 나타낸다.
LLM 추론은 빈 피크 연산 성능보다 메모리 대역폭의 제약을 자주 받는다. 칩의 TOPS가 두 배가 되어도 종단 간 속도가 두 배가 된다는 보장은 없다. 반면 가중치 데이터 이동을 줄였다면 토큰당 소비 전력은 TOPS보다 크게 낮아질 수 있다.
더 중요한 것은 다음 항목들이다.
| 지표 | 공개되어야 하는 이유 |
|---|---|
| 모델과 정밀도 | 데이터 양과 결과의 비교 가능성을 결정한다. |
| prompt 길이와 생성 길이 | prefill과 decode의 부하를 결정한다. |
| batch size | 처리량과 지연 시간 사이의 절충을 결정한다. |
| TTFT와 TPOT | 각각 첫 토큰 지연 시간과 지속 생성 속도를 반영한다. |
| 메모리 용량과 대역폭 | 모델을 실제로 저장할 수 있는지 판단하게 한다. |
| 칩 면적과 수율 | 비용 구조이 성립할 수 있는지 판단하게 한다. |
| 컴파일러와 연산자 지원 범위 | 실제 모델을 실행할 수 있는지 결정한다. |
평가에 Qwen·Llama·DeepSeek 계열이 아니라 회사가 직접 만든 소형 모델을 사용했다면, 아무리 좋은 수치도 해당 소형 모델을 실행할 수 있다는 사실만 보여 준다.
설득력 있는 테스트라면 모델 크기, 양자화 방식,功耗 측정 범위, 원본 실행 로그를 함께 공개해야 한다.
100B 모델의 온디바이스화는 여전히 소프트웨어와 메모리 벽에 막혀 있다
5W는 최종 기기에 적합하지만 곧바로 ‘단말에서 실용적이다’는 뜻은 아니다.
첫째는 메모리 벽이다. LPDDR5X의 용량은 계속 증가하지만 소비자용 기기에서 NPU에 할당되는 메모리는 보통 50GB보다 훨씬 적다. 이론적 용량이 충분하더라도 패키징, 채널 수, 비용이 실제 구성에 제약을 준다.
둘째는 메모리 대역폭이다. 100B 모델을 4bit로 양자화해도 토큰 하나를 생성할 때 여전히 대량의 가중치를 읽어야 한다. 5W 조건에서 지속 가능한 대역폭이 부족하면 모델을 ‘실행’할 수 있어도 속도가 너무 느려 제품 가치가 없을 수 있다.
셋째는 소프트웨어다. 개발자가 소수 NPU 하나를 위해 추론 스택 전체를 다시 작성할 이유는 없다.
최소한 다음 기능이 필요하다.
- 주요 연산자와 양자화 포맷 지원
- 성숙한 graph compiler
- llama.cpp, vLLM 또는 다른 추론 엔진과의 연동
- 명확한 연산자 fallback 동작
- 재현 가능한 profiling 도구
컴파일러가 대부분의 노드를 CPU로 fallback한다면 칩의 공칭 소비 전력이 아무리 낮아도 의미가 없다. 시스템 소비 전력에는 외부 CPU, 메모리, 경우에 따라 가속 복사 비용까지 포함해야 한다.
넷째는 냉각이다. 5W는 작아 보이지만 지속 부하 상태의 전력 한도다. 스마트폰과 로봇, 산업용 카메라에서는 주 SoC와 디스플레이, 무선 통신, 배터리 소모를 위한 여유도 남겨야 한다.
따라서 진짜 질문은 ‘100B를 실행할 수 있는가’가 아니라 ‘5W 시스템 전력 한도 안에서 특정 실제 모델을 초당 몇 개의 토큰만큼 생성할 수 있는가’다.
양산 칩이 나온 뒤에 온디바이스 LLM을 이야기하자
이 소식은 Hacker News 메인 페이지에도 올라가 40개의 upvote와 3개의 댓글을 받았다.
엣지 AI에 관심 있는 사람들에게는 나쁘지 않은 관심도다. 하지만 HN 메인 페이지에서 주로 논의되는 것은 방향성과 잠재력이지 구매 결정이 아니다.
칩이 ‘탭아웃되었다’는 것은 설계가 제조 공정에 들어갔다는 뜻일 뿐이다. 양산까지는 수율, 패키징 테스트, 펌웨어, 컴파일러, 드라이버, 시스템 검증의 단계가 남아 있다.
다음 세 가지를 기다리고 싶다.
- 제3자가 판매용 또는 샘플 칩을 확보해 회사 demo만 보지 않고 직접 테스트한다.
- 동일한 소프트웨어 환경에서 공개 모델을 실행하고 재현 가능한 benchmark를 공개한다.
- 가격, 최대 소비 전력, 사용 가능한 추론 도구 체인을 제시한다.
그 전까지 ‘100B, 5W, 6.7배’는 확정된 제품 규격이 아니라 세 가지 기술 목표로 보는 편이 적절하다.
이 지표들이 최종적으로 성립한다면 온디바이스 LLM 경쟁은 ‘누구의 NPU TOPS가 더 높은가’에서 ‘누가 모델과 메모리, 컴파일러, 시스템 전력을 함께 올바르게 설계했는가’로 옮겨갈 것이다.
에디터의 생각
DeepX의 이번 칩에서 진짜 주목할 점은 ‘100B’라는 표지가 아니라, PIM을 논문의 효율 수치에서 에지 칩의 양산 경로로 바꾸려는 시도다. LPDDR5X는 HBM보다 실제 최종 기기에 가깝고, 용량과 비용도 로봇·카메라·산업 기기의 요구에 더 잘 맞는다. 5W 지표가 제3자 테스트에서 확인된다면 영향은 한 번의 성능 점수 향상보다 클 수 있다.
전망은 신중하지만 낙관적이다. PIM으로 데이터 이동을 줄이는 방향에는 큰 문제가 없다. 다만 ‘6.7배’에는 아키텍처, 메모리 세대, 소프트웨어 최적화가 함께 반영됐을 가능성이 높고, 이를 새 칩만의 효과로 단순화할 수는 없다.
이번 발표가过去的 몇 차례 ‘엣지 대모델’ 발표와 다른 점은, 한 번의 성능 점수만 보여 주는 대신 超대형 모델 용량과 超저전력이라는 두 목표를 동시에 제시했다는 데 있다.
불확실한 부분도 분명하다. DeepX의 100B가 모든 가중치를 메모리에 상주시키는 방식인지, 블록 단위 로딩을 허용하는 방식인지 알 수 없다. 5W가 칩 기준인지 시스템 전체 기준인지도 모른다. 이 두 가지는 결론을 직접 바꾼다. 다음 발표를 기다리기보다 다른 사람들이 분해해 측정할 수 있는 양산 칩이 나오는 시점이 더 중요하다.