7B 소형 모델 실전 적용: 비용은 줄이고, 어떤 업무를 옮길 수 있는가
소형 모델이 일부 운영 업무를 소화할 수준까지 왔다는 평가가 늘고 있다. 모델·하드웨어·비용 지표와 실측 데이터를 기준으로, 어떤 작업을 7B 환경으로 이전할 수 있는지 정리했다.
젠슨황의 다음 카드는 H200이 아니라 CUDA, DPU, AI Factory다. 경쟁사들이 노리는 방향이 이미 옛날 게임이라는 지적이다.
소형 모델이 일부 운영 업무를 소화할 수준까지 왔다는 평가가 늘고 있다. 모델·하드웨어·비용 지표와 실측 데이터를 기준으로, 어떤 작업을 7B 환경으로 이전할 수 있는지 정리했다.
통의천문이 '신규 아키텍처'를 전면에 내세운 Flash-Next를 공개하며 Hacker News에서 120점을 기록했다. 파라미터 경쟁 대신 비용 경쟁, 온디바이스 추론 판에 새로운 플레이어가 등장했다.
Zhipu가 GLM-5.3-Flash를 해외 전용 도메인 z.ai에 공개하며 Hacker News에서 278점, 댓글 115개를 기록했다. Qwen을 웃도는 이 화제성은 모델 자체뿐 아니라 중국 모델의 글로벌 배포 방식이 바뀌고 있음을 보여주는 신호다.
Bloomberg에 따르면 Z.ai가 Ox Alpha를 몰래 공개했다. 성능은 헤드 오픈소스 모델급으로, 이후 가중치를 오픈소스로 풀었다. DeepSeek 이후 중국 LLM이 'API 선공개 후 오픈소스' 수법을 다시 한 번 쓴 사례다.
Show HN에서 화제가 된 CarWatch 프로젝트는 라즈베리 파이에서 Qwen 35B를 로컬로 돌리고, OBD-II로 차량 상태를 읽으며, 완성차 클라우드 API로空调·도어락까지 제어한다. 오프라인에서도 엔진오일 규격을 답변하는 엣지 Agent 구조를 갖췄다.
270억 파라미터 오픈소스 모델이 역공학 과제를 30분 만에 끝냈다는 주장이 Hacker News에서 159점을 기록하며 큰 논쟁을 일으켰다. 27B급이 왜 frontier 모델급 작업이 가능한지, 그리고 어디서 한계가 드러나는지를 정리한다.