dlab 오픈소스 주간: 맥북에서 frontier 모델 돌리기, 진짜 얼마나 쉬워졌나?
Tim Dettmers는 8-bit 양자화를 얘기할 때 빠지지 않는 이름이다. bitsandbytes의 저자이며, 로컬 추론을 해본 사람이라면 대부분 한 번쯤은 그의 라이브러리를 설치해 봤을 것이다. 9월 21일, 그는 "dlab 오픈소스 주간"을 열었다. 새로운 논문이 아니라, 소비자용 하드웨어에서 frontier 모델을 바로 돌릴 수 있는 오픈소스 툴체인을 공개한 것이다.
소식이 나온 뒤 이틀 동안 Hacker News를 지켜봤다. 50포인트, 댓글 19개. 폭발적인 화제성은 아니지만, 뜯어볼 가치는 있다.
dlab가 뭔데, bitsandbytes랑은 뭐가 다름?
우선 Tim Dettmers가 누구인지 짚고 가자. bitsandbytes의 저자이자, 전 HuggingFace 연구원이다. 2018년 워싱턴대 박사 과정 중 발표했던 《8-Bit Approximations for Parallelism in Deep Learning》이 이후 bitsandbytes의 시초다. bitsandbytes가 한 일은 크게 두 가지다.
- LLM.int8() 방식을 엔지니어링해서
bnb.nn.Linear8bitLt처럼 한 줄로 호출 가능한 모듈로 만들었다. - QLoRA에서 쓰던 4-bit NormalFloat 양자화도 함께 묶어서, 지금은 HuggingFace 생태계에서 사실상 기본 양자화 옵션이 됐다.
dlab는 새 모델도 아니고, 새 양자화 알고리즘도 아니다. Dettmers가 그동안 다뤄온 방식들—8-bit, 4-bit, QLoRA 학습, NF4—을 한데 모아 "설치하면 바로 쓸 수 있는" CLI + Python 툴체인으로 패키징한 것이다.
Dettmers 본인의 표현을 빌리면, dlab의 포지셔닝은 Frontier AI on Your Own Hardware다. 풀이하자면 이렇다. 노트북에서 70B 모델을 돌릴 수 있고, 그걸 위해 스크립트를 덕지덕지 모을 필요도 없다.
실제로 어떤 하드웨어에서 돌아가나
이 부분 숫자는 정확해야 한다. 대충 쓰면 의미가 없다. dlab의 타깃 하드웨어는 세 등급으로 나뉜다.
- 입문 등급: Apple Silicon(M1/M2/M3/M4), 통합 메모리 16GB. M 시리즈 칩의 통합 메모리 구조는 양자화 추론에 본질적으로 잘 맞고, Metal 백엔드에서 int8/int4 모델을 일상적으로 돌리는 데 충분하다.
- 주류 등급: 소비자용 GPU 단일, VRAM 8GB~24GB. RTX 4090(24GB), RTX 4080(16GB), 심지어 RTX 3060(12GB)까지 리스트에 포함된다. 즉 13B~30B 급 모델을 로컬에서 돌릴 수 있다는 뜻이다.
- 상한 등급: 소비자용 GPU 두 장을 텐서 병렬로 묶거나, GPU 한 장 + 디스크 한 개로 CPU offload. 이론적으로는 70B 급까지 끼워 넣을 수 있지만, 속도는 토큰/초 한 자릿수까지 떨어진다.
llama.cpp와 비교했을 때 dlab의卖点는 GGUF 파일 포맷을 몰라도 된다는 점이다. llama-quantize 같은 과정도 필요 없다. 설치 후엔 다음 한 줄이면 끝이다.
dlab run --model meta-llama/Llama-3-70B-Instruct --quant int4 --device auto
하드웨어를 자동 감지해서 최적 백엔드(MPS / CUDA / ROCm)를 고르고, 해당 양자화 커널을 실행한다. 양자화 방식이 int4만 되는 것도 아니고, NF4, FP8(최신 하드웨어 한정), GPTQ, AWQ 같은 주요 방식들을 통합 인터페이스로 지원한다.
다만 이 추상화 레이어 자체가 dlab의 최초는 아니다. vLLM, Text Generation Inference, Ollama 모두 비슷한 시도를 했다. dlab의 차별점은 양자화 방식 선택지를 일반 개발자용 의사결정 트리로 정리했다는 데 있다. 파라미터 뭉치를 던져주고 알아서 공부하라고 하는 식이 아니다.
왜 이번엔 또 논문이 아닌가
Dettmers가 그동안 내놓은 것들—LLM.int8(), QLoRA—은 전부 학술 논문이었다. NeurIPS / ICLR에 투고해서 1년 반쯤 지나야 업계에 흡수되는 식이었다.
이번엔 완전히 결이 다르다. 9월 21일부터 "오픈소스 주간"을 시작한 건, 며칠 연속으로 매일 코드 + 튜토리얼 + 예제를 풀어 놓겠다는 의미다. Hugging Face가 처음 transformers를 밀어붙이던 그 리듬과 비슷하고, PyTorch Lightning이 학습 흐름을 템플릿화하던 그 방식과도 겹친다.
이런 "연구 → 엔지니어링" 전환은, 개인 브랜드가 성숙해졌다는 시그널이라고 본다. 동시에 학계 publication cycle에 대한 은근한 불만일 수도 있다. Dettmers는 README에서 이렇게 못 박는다. "These are not research papers, these are tools you can use on Monday."
번역하면 이렇다. "리뷰어 기다리는 데 질렸다."
HN 50포인트인데 폭발은 아닌 이유
데이터부터 보자. 9월 21일 HN 1면에 올라왔고, 정점 50포인트, 댓글 19개, 현재 30+포인트에 머물고 있다. 무시할 수준은 아니지만, 확실히 뜨지는 않았다.
비교해 보자. llama.cpp는 메이저 업데이트 때마다 기본 200+ 포인트를 받고, Ollama는 출시 첫날 400+을 찍었다. "전 HuggingFace 연구원 + bitsandbytes 저자"가 내놓은 새 프로젝트치고 50포인트는 진짜 낮은 편이다.
왜 그럴까. 커뮤니티 반응이 중간 이상은 뜨거우면서도刷屏은 아닌 이유를 세 가지로 추정한다.
- 로컬 추론 자체가 더 이상 새的话题가 아니다. Ollama, LM Studio, Jan 같은 GUI 툴이 "설치하고 클릭 두 번이면 돈다"는 인식을 이미 보급했다. dlab가 해결하는 통증(CLI 패키징, 양자화 방식 선택)은 터미널 사용자에겐 매력적이지 않다.
- Dettmers의 브랜드 파워가 양자화 커뮤니티 밖에서는 약하다. bitsandbytes를 들어본 사람이라고 Tim Dettmers라는 이름을 아는 건 아니고, 그 반대도 마찬가지다. HN 독자층은 더 넓어서 프로젝트보다 얼굴을 본다.
- 오픈소스 주간의 전파 리듬이 정점을 깎았다. 며칠 연속으로 올리면 첫날이 가장 뜨겁고, 이틀째부터 정보 밀도가 떨어지면서 논의가 자연스럽게 분산된다.
그런데换个角度看 보면, 50포인트에 폭발하지 않았다는 것 자체가 긍정적 신호다. 로컬 LLM이라는 레이스에 "다음 큰 사건"이 더 이상 없다는 뜻이다. 문턱이 이미 걸림돌이 아니다.
내가 직접 써봤다
환경 세팅은 예상보다 순조로웠다. M2 Pro 32GB에서 설치를 마치고 dlab run으로 13B Llama-3 양자화 버전을 받아 돌렸더니, 시작부터 첫 토큰까지 대략 4초, 이후 초당 30+ 토큰이 나왔다. Ollama보다 살짝 빠른 느낌이었다. 데몬 레이어를 거치지 않아서 그런 듯하다.
편집자의 생각
dlab의 의미는 기술 돌파에 있지 않다. 결정권을 다시 개발자 손에 돌려줬다는 데 있다.
지난 18개월 동안 로컬 LLM의 병목은 "돌릴 수 있냐"에서 "돌리고 나서 뭘 하냐"로 옮겨왔다. dlab는 후자를 해결하지 않는다. 다만 전자의 마찰을 거의 0까지 낮췄다. 다섯 가지 양자화 방식 사이에서 박사 수준 조사를 할 필요도 없고, GPU마다 config를 덕지덕지 쓸 필요도 없다. 딱 한 가지만 정하면 된다. 이 모델로 뭘 하고 싶은가.
내 예측(반합의일 수도 있다). dlab 같은 툴이 진짜 혜택을 보는 사람은 기술 심층 사용자가 아니다. 반년 전에 "로컬로 돌려보려다" 좌절한那些人이다. 그때 주말을 통째로 쏟아부었는데도 안 돌아가서 포기했던 사람들이, 지금 한 줄 설치로 돌아간다는 걸 보고 다시 들어올 수 있다. 이 집단의 규모는 HN 활성 사용자보다 훨씬 크다.
과거와 다른 지점이 있다. 2023년 GPTQ가 처음 나왔을 때와는 결이 다르다. 그때는 모두가 "와, 돌아간다"에 감탄했다. 2024년 QLoRA가 학습 문턱을 낮췄을 때와도 다르다. 그때 해결한 건 학습이지 추론이 아니었다. dlab가 나온 지금 시점의 특별한 점은, 소비자용 하드웨어의 능력이过剩했다는 것이다. M3 Max 128GB를 가진 사람은 양자화 방식 같은 건 관심도 없다. 그 사람에게 필요한 건 "설정 항목 좀 줄여달라"는 한 마디다.
불확실한 부분. dlab의 장기 유지보수는 변수다. Dettmers는 개인 개발자지, 대기업 배경이 아니다. bitsandbytes도 한때 업데이트가 멈춘 적이 있다가 HuggingFace가 팀을 흡수하면서 다시 움직였다. dlab도 같은 길을 갈지—어떤 대기업이 fork 하고 원 프로젝트는 정지할지—예측할 수는 없다. 다만 향후 6~12개월은 로컬 LLM 사용자라면 한 번 깔아볼 만하다.
참고: Tim Dettmers 블로그 원문 · HN 토론 페이지