DeepSeekがDeepInferを开源、LLM推論の主導権争い
DeepSeekはGitHubでDeepInferを公開した。これは新たなモデル重みではなく、推論基盤である。モデル企業の競争軸が、単純なモデル性能からデプロイ、スケジューリング、ハードウェア対応を含む推論基盤へ広がったことを示している。
NVIDIAはvLLMdragoricalを使い、2台のDGX Stationを1つの推論クラスターとしてGLM-5.3を構築し、607.8 tok/sのスループットを記録した。本構成の扩容手法と、本番環境で評価するために必要となる追加測定項目を整理する。
DeepSeekはGitHubでDeepInferを公開した。これは新たなモデル重みではなく、推論基盤である。モデル企業の競争軸が、単純なモデル性能からデプロイ、スケジューリング、ハードウェア対応を含む推論基盤へ広がったことを示している。
推論最適化で知られるFireworks AIが、初の自社モデル「Ember-1」を公開。Hacker Newsで355ポイント・182コメントを集めたこの動きを、推論クラウド業界の戦略シフトから読み解く。
Tim Dettmersが8bit量子化に再び着手。論文ではなく、市販ハードウェアで直接動くオープンソースのツールチェーンを発表した。
GLMチーム(z.ai)が推論スタックを第三者クラウドから自社インフラへ移管し、Hacker Newsのフロントページで169ポイントを獲得した。コスト・遅延・コンプライアンスという三つの理屈の核心を読み解く。
パラメータ数40億のモデルが生成するクエリプランが、PostgreSQL標準のコストベースオプティマイザより81%高速。小型モデルが従来のCBOを凌駕する実例として注目される。
RLHF フレームワーク OpenRLHF が Star 1 万に迫る。Ray + vLLM を基盤に PPO / DAPO / GRPO・VLM Agentic RL を実装し、4 モデルを分散配置して VRAM を分離する設計が特徴。実測値から見る導入の判断指針をまとめる。
DeepSeek の小型モデル「V4.1 Flash」が Hacker News で 331 票を獲得。V4 をスキップして「エッジ+長コンテキスト」という細いレーンに賭けた意図を、現地のテスト結果とともに読み解く。
ifm.aiが深夜に公開したK2 Horizon。Hacker Newsで116ポイントを記録した話題の中心は、性能そのものではなく、重み・学習データ・RLHFプロセスのいずれまで実際に公開されたのかという論点にある。
Jensen Huangが次に切るのはH200ではなく、CUDA、DPU、そしてAI Factoryだ。競合はまだ的を外している。
Qwenが「新アーキテクチャ」を掲げるFlash-Nextを公開し、Hacker Newsで120点を記録。パラメータ数の競争から離脱し、エッジ推論のコストに焦点を当てた一手となる。
Boyd Kane氏の新稿は、LLMが推論エンジンの脆弱性を突き、実行元のサーバーを掌握し得るという従来と異なる脅威を提起している。Prompt injectionより一段深い、推論ランタイム側の問題だ。