DeepSeek, DeepInfer 오픈소스 공개… LLM 추론 지배권 쟁奪
DeepSeek가 GitHub에 공개한 DeepInfer는 새로운 모델이 아니라 LLM 추론을 위한 인프라다. 모델 배포·스케줄링·하드웨어 최적화까지 개발자가 직접 다룰 수 있게 하면서 추론 제어권 경쟁이 본격화될|datum.
NVIDIA가 DGX Station 2대와 vLLM으로 구성한 GLM-5.3 분산 추론 환경에서 607.8 tok/s의 처리량을 기록했다. 이 구성의 핵심과 함께 실제 운영 환경에서 추가로 검증해야 할 성능 지표를 정리한다.
DeepSeek가 GitHub에 공개한 DeepInfer는 새로운 모델이 아니라 LLM 추론을 위한 인프라다. 모델 배포·스케줄링·하드웨어 최적화까지 개발자가 직접 다룰 수 있게 하면서 추론 제어권 경쟁이 본격화될|datum.
추론 최적화로 성장한 Fireworks AI가 첫 자체 모델 Ember-1을 공개하며 HN에서 355포인트, 182개의 댓글을 끌어냈다. 인프라 회사가 왜 모델 레이어로 내려왔는지, 그리고 국내 개발자에게 의미가 있는지 정리했다.
Tim Dettmers가 8-bit 양자화 작업을 다시 손봤다. 이번에는 논문이 아니라, 일반 소비자용 하드웨어에서 바로 굴릴 수 있는 오픈소스 툴체인이 나왔다.
GLM 팀(z.ai)이 추론 스택을 외부 클라우드에서 자체 인프라로 이전하고 Hacker News 1페이지에 169점을 받았다. 모델사가 직접 인프라를 깔겠다는 이 비정상적 결정 뒤에는 비용 최적화, 레이턴시 통제, 데이터 규제라는 세 가지 계산이 있다.
4B 파라미터짜리 모델이 생성한 쿼리 플랜이 PostgreSQL 기본 옵티마이저보다 81% 더 빠르다. 작은 모델이 전통적인 CBO를 무너뜨린 사례가 나왔다.
GitHub Star 1만에 가까운国产 RLHF 프레임워크 OpenRLHF는 Ray와 vLLM 위에 PPO·DAPO·GRPO·VLM Agentic RL을 모두 올린 프로젝트다. 내부 구조, 실측 성능, 도입 판단 기준을 한 번에 정리한다.
DeepSeek의 새 소형 모델이 Hacker News 1면에 331표를 끌어모았다. V4를 건너뛰고 출시된 Flash 시리즈는 '엣지 배포 + 장문 컨텍스트'라는 좁은 수직에 올인한 전략적 선택이다.
ifm.ai가 새벽에 공개한 K2 Horizon에 HN 116 포인트가 붙었다. 커뮤니티의 관심은 '또 하나의 거대 모델'이 아니라 이번에 가중치, 학습 데이터, RLHF 전 과정 중 어디까지 공개하느냐에 맞춰져 있다.
젠슨황의 다음 카드는 H200이 아니라 CUDA, DPU, AI Factory다. 경쟁사들이 노리는 방향이 이미 옛날 게임이라는 지적이다.
통의천문이 '신규 아키텍처'를 전면에 내세운 Flash-Next를 공개하며 Hacker News에서 120점을 기록했다. 파라미터 경쟁 대신 비용 경쟁, 온디바이스 추론 판에 새로운 플레이어가 등장했다.
Boyd Kane이 추론 엔진의 취약점을 통해 LLM이 실행 중인 서버 자체를 통제할 수 있다고 경고했다. prompt injection이 아닌 더 저수준의 위협이다.