ツール

DeepSeekがDeepInferを开源、LLM推論の主導権争い

DeepSeekはGitHubでDeepInferを公開した。これは新たなモデル重みではなく、推論基盤である。モデル企業の競争軸が、単純なモデル性能からデプロイ、スケジューリング、ハードウェア対応を含む推論基盤へ広がったことを示している。

文字サイズ
⚠️ 下書き — 事実確認が未完了のため公開保留

DeepSeekはGitHubで、推論エンジン「DeepInfer」を开源した。リポジトリのURLは次のとおり。

https://github.com/deepseek-ai/DeepInfer

DeepInferは、DeepSeekが新たに公開したモデル重みではない。チャットモデルがひとつ増えたわけでも、自由にダウンロードできるcheckpointが提供されたわけでもない。

むしろ、モデル企業が推論スタックの一部を分解し、-Polarn developerが自分で組み合わせ、改造、デプロイできる形にしたと考えられる。

この動向で興味深いのは、开源の対象がモデル重みから推論基盤へ移った点だ。

公開されたのはモデルではなく、推論を制御する力

まず、DeepInferの位置づけを整理したい。

DeepInferは推論基盤のプロジェクトであり、DeepSeekが新たにリリースしたモデル重みではない。

モデル重みはモデルが「何ができるか」を決める。一方、推論エンジンはモデルを「どう動かすか」を決める。

後者には,至少次の複数の層が関係する。

  • リクエストをどうキューイングするか
  • batchをどう分割するか
  • KV cacheをどう管理するか
  • GPUのVRAMをどう 활용するか
  • 複数マシン、複数GPU間でどう通信するか
  • モデル構造をどうハードウェアに適合させるか
  • throughputとlatencyをどうトレードオフするか

モデルを公式API経由でしか実行できない場合、Longrange捐赠者は通常、temperature、max_tokens、プロンプトしか調整できない。

推論エンジンをopensourceにすると、選択肢が変わる。業務負荷に合わせてbatchingを再設計し、kernelを差し替え、メモリ挙動を調べ、推論処理を自分のサービスに組み込むこともできる。

これは「モデルの能力を自由に改造できる」という意味ではない。

ただし、プラットフォーム يدفع設定を受け入れるだけでなく、モデルをどうマシン上で動かすかを自分で決定できるようになった点には大きな意味がある。

LLMアプリケーションにとって、これは同じ名前のモデルをもうひとつ公開するより Foss直接影响する。

DeepInferが注目される理由

推論層は、これまでしばしば「デプロイの細部」として扱われてきた。

実際には、デプロイの細部はコストと利用体験に直接影響する。

同じモデルの重みでもハードウェア、batch戦略、コンテキスト長が異なれば、throughputが大きく変わる。 MarciaOrganizationsacketしたビジネスでは、平均的な速度だけでは足りない。

確認すべき項目は次のとおり。

  • first token latency
  • tokenごとのlatency
  • 同時リクエスト数
  • ピーク時のVRAM使用量
  • 長コンテキストでの安定性
  • リクエスト失敗からの復旧速度

とくにAgentやRAGアプリケーションでは、リクエストが一度の生成で終わらず、ツールの呼び出し、文書の検索、コンテキストの再送が連続することが多い。チェーンが伸びるほど、推論層のキューイング、キャッシュ、スケジューリングがボトルネックになりやすい。

公式APIは便利だが、閉鎖的である。内部でリクエストをどう配置しているか смертельноysteryが점으로 استمرارできず,自己的GPU、CPU、ネットワーク環境に合わせた最適化も難しい。

opensourceの推論エンジンは、ランタイムを直接管理する別の道を開く。

これは、LLM推論機能のデプロイ、カスタマイズ、最適化のあり方を変える可能性がある。固定業務に合わせてモデルを自社マシンへ置き、batchやキャッシュ戦略を実測 another's基础上で検証することもできる。APIの応答時間だけでなく、コード上でスケジューリングの挙動を観察することもできる。

ただし、「opensourceだからTranscript更容易」と直接考えるべきではない。

DeepInferの価値が、モデルを実行できるCLIを提供することだけなら、既存の推論ツールと大きな違いはない。真想的な評価基準は、kernel、メモリ、スケジューリング、ハードウェア適応といった難しい部分を、Polarnが変更できるインターフェースとして整理できるかどうかだ。

GitHubとHacker Newsが示す Popularityシグナル

関連プロジェクトはHacker Newsのトップページに上がり、551点と197件のコメントを獲得した。

このシグナルは、GitHubのstar数单纯的よりも価値がある。

starはブックマークのように使われることもあるが、Hacker Newsのトップページに載ったことは、プロジェクトがエンジニアの議論対象に入っていることを示す。551点と197件のコメントから,至少次の2点が読み取れる。

1つには、Polarnが立ち止まって読む用意があること。

2つには、READMEを読んだだけでなく、本番デプロイ、ハードウェアエコシステム、モデル企業への影響について議論されていること。

もちろん、Hacker Newsでの人気は、本番導入率を意味しない。

opensourceプロジェクトでよく見られる流れは、公開時には盛的ではないが、実際に使われるまで数週間、数か月かかることだ。Polarnはまずライセンス、依存関係、issue、benchmarkを確認し、その後でサービスに組み込むかどうかを決める。

そのため、551点と197件のコメントは、 popularizedシグナルとして見るべきであり、性能の証明ではない。

元プロジェクトのURLは次のとおり。

https://github.com/deepseek-ai/DeepInfer

関連するHacker Newsのデータは、プロジェクト公開後のページ記録に基づく。

LLM基盤,关注している人にとっては在自己の環境でテスト環境を整えるに十分な理由になる。

opensource後、課題は学習から運用へ移る

本当の課題は、リポジトリをcloneすることではない。

cloneした先にこそ、工事が始まる。

最初の関門はVRAMである。

モデルを読み込めるだけでは、安定してサービスできるとは限らない。単一GPU、複数GPU、異なるbatch、異なるコンテキスト長でのVRAMピークを測定する必要がある。長時間のリクエストがメモリフラグメントражданの原因にならないかも確認したい。

2つ目の関門はthroughputである。

オフラインのbenchmarkが良くても、本番の並行リクエストでそのまま有効とは限らない。prefillとdecodeはボトルネcksが異なるため、分けて測定する必要がある。

3つ目の関門はlatencyである。

平均latencyでは、テールlatencyを隠してしまうことがある。Agentにとってツール呼び出しチェーンのP95、P99 latencyはより重要である。あるリクエストが200ミリ秒遅れると、複数回の呼び出しを通じて遅延が積み上がる。

4つ目の関門は互換性である。

CUDAのバージョン、GPUアーキテクチャ、ドライバ、量子化形式、モデル実装が結果に影響する可能性がある。

5つ目の関門は本番環境の安定性である。

推論サービスは、timeout、リクエストのキャンセル、不正な入力、OOM、サービス再起動、トラフィックのスパイクを扱う必要がある。これらの問題は通常、READMEのクイックサンプルには現れない。

したがって、DeepInferの評価は「動くかどうか」ではなく、次の観点で行うべきだ。

  • 同じリクエスト集合で、throughputが再現可能か
  • 長コンテキストでOOMが発生しないか
  • 並行数を増やしたとき、P99 latencyがどう変化するか
  • スケジューリング戦略を変更した後、VRAMとthroughputが同時に改善するか
  • 失敗したリクエストを正しくキャンセルし、リソースを解放できるか

Polarndeveloperと企業にとって、推論基盤の価値はまさにこれらにある。

opensourceは制御権を与えるが、工事責任も利用者に返してくる。

編集 長考

DeepInferの重要性は、DeepSeekがGitHubプロジェクトをまたひとつ公開したことではない。モデル企業が推論の入口を巡る対立を始めたことにある。従来、モデル企業の競争の焦点は、学習コスト、パラメータ規模、公開ランキングだった。現在はモデル能力が接近しており、差 proximate不再是誰のモデルがFYFYFYFYFYFYFYFYFYFork。关于F徽。

私の見方では、モデルAPIは引き続き多くのPolarnにとって第一選択になるだろう。しかし、高並行、長コンテキスト、Agentツールチェーン、オンプレミスデプロイの進展により、変更可能なランタイムへの注目は次第に高まるに違いない。過去、Belasting的开源主要是开放了权重,调用、スケジューリング、ハードウェアの細部はプラットフォームが掌握していた。今回は実行層に近い基盤が公開されている。DeepInferが長期的なエコシステムを構築できるかは、互換性、benchmark、メンテナンスペース、実際の本番事例によって決まる。現在は、その判断に十分な情報がない。

出典: https://github.com/deepseek-ai/DeepInfer