Unsloth, 7.4만 스타: 로컬 LLM 파인튜닝을 클릭 한 번으로 끝내다
데스크톱 앱 하나로 Llama·Qwen·DeepSeek 파인튜닝을 패키지화한 프로젝트다. 핵심은 직접 손으로 짠 CUDA 커널과 4/8-bit GGUF 양자화로, VRAM은 40~70% 절감, 속도는 2~5배 빨라진다. 4090에서 Qwen2.5-7B LoRA를 직접 돌려보니 스텝당 시간이 2.3초에서 1.1초로 줄었다.
164k 스타를 받은 ML 인프라의 핵심. AutoClass, Tokenizer, Model Hub이 어떻게 오픈소스 AI 생태계 전체를 하나로 연결하는지 코드 한 줄을 분해해 살펴본다.
데스크톱 앱 하나로 Llama·Qwen·DeepSeek 파인튜닝을 패키지화한 프로젝트다. 핵심은 직접 손으로 짠 CUDA 커널과 4/8-bit GGUF 양자화로, VRAM은 40~70% 절감, 속도는 2~5배 빨라진다. 4090에서 Qwen2.5-7B LoRA를 직접 돌려보니 스텝당 시간이 2.3초에서 1.1초로 줄었다.
GitHub Star 89.5k의 추론 프레임워크는显存를 메모리처럼 관리하고 요청을 스트리밍 작업으로 스케줄링한다. H100 단일 카드实测 기준 초당 4200 tok, 기본 대비 133% 빠르다.
Latent Space 팟캐스트가 Baseten의 Series F 밸류에이션을 $13B로 표기한 것은 명백한 오기다. 이 숫자 문제를 짚어보고, 현재 가장 뜨거운 AI 레이스 중 하나인 추론 엔지니어링 시장이 어떻게 구성돼 있는지 정리한다.
Muse가 공개한 Glimmer와 Spark 두 모델은 같은 그림이 아니다. Glimmer가 3090을 타겟으로 삼은 건 우연이 아니라 미국 오픈소스 진영의 서사 전쟁과 맞닿아 있다.