도구

Maple 심층 분석, Gemma 4 26B를 6GB VRAM에 구동하다

Maple은 Sub-2-BPW Moe Pruning으로 Gemma 4 26B를 압축해 6GB GPU에서 45 TPS를 달성했다고omir. 그러나 속도 수치의 재현 가능성과剪枝에 따른 성능 저하 여부는 별도로 검증해야 한다.

글자 크기

오픈소스 프로젝트 Maple은 Sub-2-BPW Moe Pruning으로 Gemma 4 26B를 압축하고, 6GB GPU에서도 모델을 구동해 45 TPS까지 기록할 수 있다고 주장한다. 인상적인 수치지만 제3자 재현 결과와剪枝으로 발생하는 성능 손실은 아직 확인되지 않았다.

Maple 심층 분석, Gemma 4 26B를 6GB VRAM에 구동하다

Maple은 GitHub에 공개된 오픈소스 프로젝트다. 저장소는 https://github.com/AmSach/maple에서 확인할 수 있다.

이 프로젝트는 Sub-2-BPW Moe Pruning을 적용해 가중치당 2비트 미만의 희소화剪枝을 지향한다. 개발팀은 Gemma 4 26B를 6GB VRAM GPU에 올릴 수 있으며, 초당 45 tokens를 생성할 수 있다고 Effectivelyctor.

26B 모델, 6GB VRAM, 45 TPS라는 세 수치가 한데 묶이면서눈길을 끈다. 하지만 그래픽카드를 바꾸기에는 아직 이르다.

Maple이 보여준 것은 검증이 끝난 결론이 아니라 하나의 엔지니어링 접근법이다. 진짜 테스트할 가치가 있는 부분은 ‘26B 파라미터를 전부 유지한다’는 전제를 어떻게 우회하는지다.

26B 모델을 6GB에 넣는 Maple의 방식

일반적인 low-bit 양자화에는 쉽게 오해할 수 있는 지점이 있다. 가중치 bit width가 낮아진다고 해서 계산 시 남아 있는 가중치도 그만큼 줄어드는 것은 아니며, VRAM 사용량도 bit width에 비례해 감소하지 않는다.

추론 과정에서는 별도로 다음 공간이 필요하다.

  • KV cache
  • 활성값과 임시 buffer
  • 프레임워크와 연산자의 workspace
  • batch size와 컨텍스트 길이에서 발생하는 추가 오버헤드

Maple의 핵심 선택지는 모든 가중치를 극단적으로 작게 만드는 데 있지 않다. MoE 모델의 희소 구조를 활용해 각 token에서 실제로 활성화되고 계산에 참여하는 파라미터를 줄이는 데 있다.

여기서 두 가지 개념을 구분해야 한다.

  1. 모델 전체 파라미터: Gemma 4 26B는 여전히 26B 규모의 모델이다.
  2. token당 활성 파라미터: MoE routing은 매번 일부 expert만 선택하며, Maple은 이 계산 구간을 중심으로 희소화剪枝을 적용한다.

‘Sub-2-BPW’ 역시 ‘평균적으로 가중치 하나당 2비트 미만’이라는 의미만으로 간단히 해석할 수 없다. 이는剪枝 후 허용되는 가중치당 비트 예산을 뜻하며, 계산 경로가剪枝된 부분에 충분히 적은 부담만 발생해야 한다는 조건도 포함한다. 제목의 ‘Moe’는 Gemma의 혼합 expert 구조를 가리킨다.稠密 모델을 억지로 그렇게 부르자는 의미가 아니다.

이 구조 덕분에 26B와 6GB가 동시에 등장할 수는 있지만, 모든 26B 모델이 동일하게 동작할 수 있다는 뜻은 아니다.

모델 구조, expert routing, kernel, 메모리 할당 방식이 달라지면 결과도 달라진다.

45 TPS는 26B 전체가 VRAM에 상주한다는 뜻이 아니다

‘활성 파라미터가 2B 미만’이라는 표현은 종종 ‘26B 모델이 2B 미만으로 줄었다’라고 쓰인다. 이는 엄밀하지 않다.

26B는 전체 파라미터 수이고, ‘2B 미만’은 한 번의 추론에서 실제로 활성화되거나 계산에 참여하는 파라미터 부분집합을 가리킬 가능성이 높다. 이 차이가 바로 MoE가 추론 비용을 낮출 수 있는 이유다.

하지만 낮은 VRAM 사용량을 달성하려면 구체적인 질문에 답해야 한다. 유지한 expert 가중치는 어디에 보관되는가?

대부분의 가중치를 여전히 GPU에 매핑해야 한다면 계산은 희소하게 유지해도 VRAM 사용량이 6GB까지 낮아지지 않을 수 있다. 반대로 일부 expert를 CPU에 두면 PCIe 전송과 expert routing 지연 때문에 45 TPS를 유지하기 어려워질 수 있다.

따라서 ‘45 tokens per second’라는 수치를 볼 때는 최소한 다음 조건을 확인해야 한다.

  • GPU 모델과 VRAM 용량
  • CUDA, 드라이버, 추론 프레임워크 버전
  • batch size
  • prompt 길이
  • 한 번에 생성하는 tokens 수
  • prefill과 decode를 구분했는지 여부
  • streaming을 활성화했는지 여부
  • 첫 token 지연 시간을 포함했는지 여부
  • CPU offload, expert卸载, 캐시 전략
  • 측정 스크립트에서 모델 로딩 시간을 제외했는지 여부

Tokens per second 자체는 완전한 지표가 아니다.

짧은 prompt, 적은 출력, 단일 동시 요청에서는 대체로 더 좋은 수치가 나온다. 긴 컨텍스트, 동시 요청, 지속적인 생성 환경에서는 KV cache와 대역폭 병목이 드러난다.

프로젝트는 Gemma 4 26B를 6GB GPU에서 45 TPS로 구동할 수 있다고 주장한다. 현재 이 결과는 프로젝트 측의 주장으로 기록하는 것이 적절하다.

Maple은 Gemma 4 26B를 6GB VRAM GPU에서 45 tokens per second의 속도로 실행할 수 있다고 주장한다.

이 수치를 실제로 달성하는지는 제3자 재현 결과를 기준으로 판단해야 한다.

속도 기록보다剪枝 손실을 먼저 살펴봐야 한다

속도 테스트는 일반적으로 성능 테스트보다 간단하다.

같은 GPU, 같은 스크립트, 같은 prompt를 사용해 몇 차례 시간을 측정하면 TPS를 얻을 수 있다. 하지만 모델의 성능이 나빠졌는지는 훨씬 완전한 평가가 필요하다.

剪枝은 무손실 압축이 아니다. 가중치 평균이 2비트 미만이더라도 중요한 연결이 제거되면 출력 품질이 떨어질 수 있다. MoE 모델에서는 문제가 더 복잡해진다.

  • 특정 expert가 지나치게 희소화되지 않았는가?
  • router가 여전히 요청을 적합한 expert로 전달하는가?
  • 핵심 expert가 약화된 탓에 드문 작업의 성능이 떨어지지 않았는가?
  • 양자화와剪枝을 함께 적용하면서 오차가 더 커지지 않았는가?
  • 긴 컨텍스트에서 오류가 점진적으로 누적되지 않았는가?

Maple을 평가하려면 최소한 세 종류의 결과를 확인해야 한다.

첫째는 perplexity다. 언어 모델링 손실을 나타내므로 서로 다른 압축 방식을 비교하는 데 적합하다. 다만 테스트 데이터와 모델 학습 데이터가 상당 부분 겹치면 숫자를 오해를 살 수 있다.

둘째는 작업 정확도다. 예를 들면 MMLU, ARC, HellaSwag 또는 프로젝트에서 채택한 실제 작업을 평가할 수 있다. 하나의 점수만 제시하기보다剪枝하지 않은 모델과 Maple 모델의 차이를 함께 보여주는 편이 유용하다.

셋째는 end-to-end benchmark다. 코드 생성, 질의응답, 요약, 구조화된 출력 등 실제 workflow를 포함해야 한다. 단순히 평균 점수뿐 아니라 실패 사례도 함께 제시하는 것이 좋다.

현재까지 공개된 정보에서 Maple의 인상적인 수치는 주로 6GB VRAM과 45 TPS에 집중돼 있다. 속도 수치는 비교적 쉽게 재현할 수 있지만,剪枝 후 모델 품질이 실제 배포를 결정한다.

README에 재현 가능한 평가 설정이 추가되지 않는다면 이 프로젝트는 ‘직접 테스트해 볼 만한 엔지니어링 샘플’에 더 가깝고, 성숙한 솔루션으로 볼 수는 없다.

Hacker News에는 4개의 upvote와 1개의 댓글만 있다

이 성과는 Hacker News 메인 페이지에 올랐지만, 페이지 기록에는 4개의 upvote와 1개의 댓글만 남아 있다.

이 신호는 매우 약하다.

프로젝트에 가치가 없다는 증거는 아니다. 오픈소스 추론 프로젝트가 막 공개된 시점에는 Hacker News 피드백 수가 게시 시점과 커뮤니티 구조, 홍보 경로의 영향을 받는다. 틈새 GPU, edge device, 양자화 프로젝트는 원래부터bao토의 충분한 논의를 얻지 못하기 쉽기도 하다.

하지만 최소한 широк은 검증이 아직 형성되지 않았다는 사실은 알 수 있다.

많은 개발자가 서로 다른 GPU 환경에서 결과를 재현하고, 카드별 속도 비교, loss curve, 작업 정확도를 제시하지 않는 한 45 TPS는 여전히 프로젝트 측이 제공한 단일 환경의 결과에 머문다.

Maple의 성격은 다음 세 층위로 나눌 수 있다.

  1. 확인 가능한 사실: 오픈소스 GitHub 프로젝트이며 Sub-2-BPW Moe Pruning을 사용해 MoE 희소화剪枝과 low-VRAM 추론을 목표로 한다.
  2. 프로젝트 측의 주장: Gemma 4 26B를 6GB VRAM GPU에서 45 TPS로 구동할 수 있다.
  3. 아직 검증되지 않은 부분: 속도를 여러 하드웨어에서 재현할 수 있는지,剪枝으로 발생하는 품질 손실이 어느 정도인지, 일상적인 작업에서 여전히 쓸 수 있는지.

‘26B 모델이 이미 6GB 그래픽카드에 들어갔다’고 단정하는 것보다 이러한 방식으로 구분하는 편이 정확하다.

편집자 관점

low-VRAM 추론의 경쟁 지점은 각 가중치 묶음을 계속 더 작게 압축하는 데 있지 않을 수 있다. 어떤 파라미터를 계산에 참여시킬지 바꾸는 것이 핵심일 가능성이 있다. Maple은 실용적인 방향을 보여준다. MoE 모델에 희소화剪枝을 적용해 실제 활성 파라미터를 먼저 줄이고, 가중치 저장과 런타임 오버헤드를 관리하는 방식이다.

결과가 안정적으로 재현된다면 소비자의 선택 기준은 ‘24GB GPU와 48GB GPU 중 무엇을 구매할지’에서 ‘어떤 작업을 로컬에서 실행할 가치가 있는가’로 바뀔 수 있다. 다만 과거의 단순 양화 발표와 달리 Maple은剪枝, MoE routing, 6GB 실행을 하나로 묶었기 때문에 확인해야 할 병목도 더 많다. kernel 호환성, expert의 빈번한卸载, 허용 가능한 품질 손실 여부가 모두 불명확하다.

45 TPS와剪枝 품질 모두 제3자 검증이 부족하므로, Maple은 지금 당장 운영 환경에 적용할 결론이 아니라 실제 workflow로 압력 테스트해 볼 가치가 있는 샘플로 보는 편이 낫다.

출처

출처: https://github.com/AmSach/maple