거대 언어 모델

Bonsai 2 27B, 243B 모델을 9분의 1로 압축하다: 정말 손실이 거의 없을까

PrismML이 243B 베이스 모델의 99% 성능을 유지하면서 27B로 압축했다고 발표했다. 9배 축소가 사실로 확인되면 엣지 배포와 추론 비용의 판이 바뀔 수 있다.

글자 크기

PrismML이 이번 주에 폭탄을 하나 던졌다. 자사의 Bonsai 2 27B 모델이 약 243B 파라미터의 베이스 모델을 27B로 압축한 뒤에도 99%의 성능을 유지한다는 주장이다. 9분의 1 크기, 1% 손실. 이 숫자가 사실이라면, 압축이라는 길이 드디어 연구실을 벗어났다는 뜻이다.

Hacker News에서 226점, 댓글 71개가 달린 이 토론량은 단순한 마케팅이 아님을 보여준다. 개발자들은 "거의无损(손실 없음)"라는 단어에 본능적으로 반응하며, 1%가 어디에서 손실됐는지를 알고 싶어 한다.

9배 압축은 어떻게 가능한가

우선 명확히 하자. 243B를 27B로 줄이는 것이 단순한 weight quantization만으로 가능한 일은 아니다.

243B를 4bit로 양자화하면 약 121GB 정도이고, FP16으로 환산해도 파라미터 수는 그대로다. 바이트당 표현 정밀도가 줄어든 것일 뿐이다. 진정한 9배 파라미터 축소를 하려면 아키텍처를 건드려야 한다.

주로 쓰이는 방법들이다.

  • 구조적 가지치기(Structured pruning): 어텐션 헤드, 은닉층, 전문가 네트워크에서 중복된 모듈을 제거
  • 지식 증류(Knowledge distillation): 243B를 교사, 27B를 학생으로 삼아 logits, 중간 특징, 어텐션 맵을 모두 지도 신호로 활용
  • 희소화 / MoE 전환: 밀집 FFN을 여러 전문가로 쪼개고, 추론 시 일부만 활성화

PrismML이라는 회사에 대한 배경 정보는 충분히 확인하지 못했다. Mistral이나 DeepSeek처럼 명확한 투자 이력을 가진 팀이 아니어서, 기술 세부 사항에 의문을 가질 수밖에 없다. 공개된 자료를 보면 "가지치기 + 증류 + 양자화"의 조합으로 보이지만, 논문도 없고 가중치 카드 형태의 완전한 기술 보고서도 없다.

내 추측이 맞다면, 먼저 증류를 통해 243B의 능력을 27B 학생 구조로 이전(여기서 5-10% 손실 발생)한 뒤, 구조적 가지치기로 중요하지 않은 채널을 잘라내고, 마지막에 AWQ나 GPTQ로 4bit까지 양자화하는 파이프라인일 것이다. 베이스 모델 자체에 충분한 중복이 있을 때, 9배 압축에서도 "거의 손실 없음"이 가능하다. 243B짜리 Llama 3가 바로 그런 경우다.

커뮤니티는 "near-lossless"를 어떻게 검증하나

HN에서의 논의는 거의 한 가지 질문에 집중돼 있다. 벤치마크는 어디 있느냐는 것이다.

제조사 자체 벤치마크는 믿기 어렵다는 건 오픈소스 커뮤니티의 오래된 상식이다. 데이터셋 선택, 프롬프트 조정, few-shot 개수 설정만으로 2-3퍼센트포인트 차이가 날 수 있다. 압축 모델의 "수분"을 잡아내려면 표준 절차가 있다.

# 커뮤니티가 보통 진위 확인용으로 돌리는 벤치 세트
from lm_eval import simple_evaluate

results = simple_evaluate(
    model="hf",
    model_args="prismml/bonsai-2-27b",
    tasks=[
        "mmlu",              # 종합 지식
        "humaneval",         # 코드 생성
        "gsm8k",             # 수학 추론
        "hellaswag",         # 상식 추론
        "truthfulqa",        # 환각 검출
        "ifeval",            # 지시 따르기
    ],
    batch_size=8,
)

이 점수를 원본 243B 베이스와 비교해서 과제별 차이를 본다. 대부분 과제에서 격차가 1-2퍼센트포인트 이내여야 "near-lossless"라는 말이 성립한다. GSM8K처럼 다단계 추론이 필요한 과제에서 5점 이상 떨어졌다면 경계해야 한다. 압축 모델이 가장 자주 무너지는 지점이 바로 추론 체인이다.

더 까다로운 검증은 perplexity를 보는 것이다. 동일한 텍스트로 243B와 27B 각각의 cross-entropy loss를 계산해서, 27B의 loss 증가폭이 0.1 이내면 언어 모델링 능력이 보존됐다고 판단할 수 있다.

현재(2025년 1월 기준) 시점에서 PrismML은 완전한 벤치마크 표를 공개하지 않았고, HuggingFace에도 가중치를 올리지 않았다. HN 댓글에서는 일부 사용자가 양자화 버전을 직접 받아 블라인드 테스트를 돌리기 시작했지만, 결과는 아직 나오지 않은 상태다.

만약 사실이라면, 엣지 AI 판이 바뀐다

배포 비용을 먼저 계산해보자.

27B 모델을 FP16 정밀도로 돌리면 약 54GB显存이 필요한데, H100 80G 한 장으로는 간신히 돌릴 수 있지만 4090 24G로는 불가능하다. AWQ로 4bit 양자화를 하면 모델 크기가 약 14GB로 줄어들고, 4090 24G에서는 KV cache용으로 10GB가 남으며 Mac M2/M3 Max의 64GB 통합 메모리에서도 여유롭게 돌아간다.

이게 무슨 의미인가? 과거에 70B급 모델을 돌리려면 최소 A6000 두 장이 필요하거나 클라우드에서 A100을 빌려야 했다. 이제는 소비자용 그래픽카드 한 장으로 충분하다. 30% 비용 절감이 아니라 차원이 다른 변화다.

같은 크기대의 오픈소스 모델들과 비교하면 다음과 같다.

모델파라미터4bit 양자화 후 显存알려진 강점
Bonsai 2 27B27B약 14GB검증 필요
Qwen2.5-32B32B약 17GB중국어, 코드
DeepSeek-V2-Lite16B (MoE)약 9GB추론, 가성비
Llama 3.1-70B (quant)70B약 38GB종합 능력

27B 크기대의 경쟁은 이미 치열하다. Qwen2.5-32B는 중국어와 코드 능력의 천장을 증명했고, DeepSeek-V2-Lite는 MoE 구조로 활성화 파라미터를 16B로 유지하면서도 높은 추론 점수를 보여줬다. Bonsai 2 27B가 이 생태계에서 두각을 나타내려면 "243B에 가깝다"만으로는 부족하다. Qwen2.5-32B를 특정 과제에서 명확히 앞서는 모습을 보여줘야 판매 포인트가 생긴다.

PrismML이 다른 모델들과의 비교 데이터를 아직 공개하지 않은 상태라, "판이 바뀐다"는 판단은 가정 단계에 머물러 있다.

"큰 게 좋다"는 합의가 깨지는가

아니다.

이 사건에서 가장 큰 오독은 "Bonsai가 243B를 이겼다 = 소형 모델이 대형 모델을 이겼다"라는 것이다. 전혀 다른 이야기다.

압축의 논리는 이렇다. 이미 강력한 243B 베이스에서 능력을 추출해 27B에 담는 것이므로, 이 27B의 상한은 243B에서 압축 손실을 뺀 값이다. 원본을 넘을 수 없고, 더 큰 모델을 넘을 수도 없다. 9B가 81B를 이긴다? 불가능하다. 4B가 36B를 이긴다? 역시 어렵다. 압축비가 클수록 천장이 낮아지는 건 정보 이론이 결정하는 것이지, 공학의 문제가 아니다.

Bonsai의 진짜 가치는 "대형 모델을 이기는 것"이 아니라, 중간 크기 모델의 능력 상한을 크게 끌어올린 데 있다. 과거에 27B는 70B의 80% 수준에 그쳤지만, 정말로 243B의 99%까지 따라잡는다면 27B 크기대의 천장이 높아지는 셈이다. 이건 배포 비용에 실질적 영향을 미친다.

바로 이 지점이 이 사건을 주목할 이유다. 기술적 기적이 아니라, 공학적 최적화가 임계점에 도달한 것이다.

편집자 생각

이 사건의 진짜 시그널은 어떤 팀이 27B 강자 모델을 만들었다는 게 아니라, 추론 비용 곡선이 가팔라지기 시작했다는 점이다.

지난 3년간 모델 능력 향상은 주로 파라미터 확충에 의존했다. 7B에서 70B, 400B+로 갈수록 세대마다 분명히 강해졌다. 그런데 2024년 말부터 능력 향상의 상당 부분이 압축과 증류에서 나오기 시작했다. 단순히 베이스를 키우는 방식이 아니다. 같은 양의 연산으로 얻을 수 있는 "실사용 가능한 능력"이 가속화하고 있다는 뜻이다.

애플리케이션 레이어를 만드는 사람들에게는 희소식이다. 추론 비용은 계속 떨어지고, 모델은 더 많은 디바이스에 들어가게 된다. 반면 베이스 모델을 만드는 입장에서는 다소 나쁜 소식일 수 있다. 누구나 243B에서 27B를 증류해낼 수 있다면, 베이스 모델의 해자가 얕아지고 경쟁은 "최고의 증류 파이프라인을 가진 쪽"과 "가장 큰 고품질 학습 데이터를 가진 쪽"으로 이동한다.

리스크를 명확히 짚자면, PrismML은 현재 완전한 벤치마크도, 논문도, HuggingFace 가중치도 공개하지 않았다. "near-lossless"가 마케팅 문구인지 실체인지는 1-2개월간 제3자 재현 결과를 지켜봐야 알 수 있다. HN 226점은 커뮤니티의 관심을 보여주지만, 관심과 검증은 다른 문제다. 재현 가능한 자료가 나오기 전까지는 "주목할 가치가 있지만 베팅은 보류" 정도로 두는 게 맞다.

출처: https://prismml.com/news/bonsai-2-27b