大規模言語モデル

Mercury 2.5 が拓く拡散型 LLM の時代 ── 推論速度 1000+ tok/s の衝撃

Inception Labs が拡散アーキテクチャの LLM「Mercury 2.5」を発表。コード生成に焦点を絞り、1000 tok/s 超の推論速度を実現した。GPT や Claude が採用する自己回帰型とは根本的に異なるアプローチで、業界に新しい選択肢を提示している。

文字サイズ

Inception Labs が Mercury 2.5 をリリースした。拡散アーキテクチャ採用、推論速度は 1000+ tok/s、ターゲットはコード生成一本。既存の自己回帰モデルではまずお目にかかれない数字だ。公式ブログと Hacker News の議論を読み込んで、押さえておくべき論点を整理した。

Mercury 2.5 が速い理由

公式ベンチマークによると、Mercury 2.5 はコード補完タスクで 1000+ tokens/秒 を叩き出す。比較してみるとこうなる。

  • GPT-4o:約 80〜100 tok/s
  • Claude 3.5 Sonnet:約 60〜80 tok/s
  • Mercury 2.5:1000+ tok/s

10〜15 倍の差。しかもこれは単なる最適化ではなく、アーキテクチャ自体の違いから来ている。

自己回帰モデル(GPT、Claude、Gemini はすべてこの方式)は 1 トークンずつ順番に出力する。前が終わるまで次は計算できないので、本質的にシリアル処理だ。拡散型 LLM は逆のアプローチを取る。まず荒い「下書き」を生成し、そこからノイズ除去を繰り返して精度を上げていく。画家が先にベース色を塗ってから細部を描き込むのに似ている。この仕組みは本質的に並列化に向いており、複数のトークンを同時に精緻化できる。

コードはこの並列処理と特に相性が良い。インデントや括弧の対応、キーワードといった明確な構造を持つため、拡散モデルは関数全体の骨組みを一気に組み上げてから細部を埋められる。小説執筆のような散文ではこの利点は活きにくいが、コード補完に関しては構造的なアドバンテージがある。

Inception Labs 自身のベンチマークでは、Mercury 2.5 は HumanEval や MBPP といったコードタスクで GPT-4o と同等の精度を維持しつつ、レイテンシを桁違いに下げている(出典:inceptionlabs.ai/blog/introducing-mercury-2-5)。

拡散モデルは以前からあったのに、なぜ今注目されるのか

拡散モデルが画像生成で覇権を取ったのは昔の話だ(Stable Diffusion や Midjourney が代表例)。テキストへの応用は 2023 年頃から試みられ、Mercury 初世代は昨年登場しているが、目立った話題にはなっていなかった。

Mercury 2.5 のリリース後、Hacker News のフロントページに登場した(出典:news.ycombinator.com/item?id=49616354)。コミュニティの議論はおおむね以下の論点に集約されている。

  1. 「これは RISC vs CISC の瞬間か?」CPU アーキテクチャ論争になぞらえる声が多い。自己回帰型は CISC(複雑な命令を逐次実行)、拡散型は RISC(簡素で並列)という整理だ。たとえ話は粗いが、方向性としては正しい。
  2. 「エコシステムはどうなる?」vLLM や TensorRT-LLM といった主要推論フレームワークはすべて自己回帰型を前提に作られている。拡散モデルには書き直しが必要だ。
  3. 「ファインチューニングは可能か?」今のところ使いやすいツールチェーンはほぼ存在しない。
  4. 「品質は本当に十分か?」ベンチマークが立派なことと、現場で使えないコードを出してこないかは別の話。

HN のコメントでは、Mercury 初世代を Cursor の autocomplete バックエンドとして使った限りでは十分実用的だったが、複雑なロジックを丸ごと生成する用途ではまだ力不足だったとの声がある。2.5 がこの領域でどれだけ前進したかは要注目だ。

コード補完に振り切った設計

Inception Labs のポジショニングは明確で、Mercury 2.5 は汎用チャットでも長文要約でもない。コード補完とコード生成に特化した設計になっている。

理由は単純で、Cursor、Copilot、Continue.dev、Tabnine といった AI コーディングツールにとって レイテンシは生命線 だからだ。ユーザーが途中まで入力した状態でカーソルが 300ms 闪烁しただけでも体験は崩壊する。コード補完は検索以上に遅延にシビアで、ユーザーのメンタルモデルは「自分がタイピングしている」状態だ。知覚できる待ち時間はすべて「重い」と判断される。

拡散モデルはこのシナリオで明確な優位性を持つ。

  • 並列生成:関数内のトークンをまとめて計算でき、逐次出力の必要がない
  • 構造認識:コードの構文制約が拡散のノイズ除去プロセスを効率化する
  • 途中切断に強い:処理の途中で打ち切っても、有用なコード片として成立する場合が多い

呼び出しイメージは公式ドキュメントの API スタイルに基づくとこんな感じになる。

from inception import Mercury

client = Mercury(api_key="...")

response = client.completions.create(
    model="mercury-2-5",
    prompt="def fibonacci(n):\n    ",
    max_tokens=128,
    temperature=0.2,
)

print(response.choices[0].text)

応答時間は通常数十ミリ秒のレベルだ。Cursor のような IDE 上では、ユーザーが「打鍵と同時」に結果が現れる感覚になる。

ただし注意点がある。Mercury 2.5 の学習データはコード寄りなので、雑談やメール執筆を任せると微妙な仕上がりになる。汎用 LLM として使うのは期待値設定が違う。

ビジネス化の難所 ── 速さは武器だが、普及には壁がある

ここは少し逆張りな視点になる。

Mercury 2.5 の速度は確かに衝撃的だが、商用展開には三つの大きな障壁がある。

1. エコシステムが事実上ゼロ

vLLM、TGI(Text Generation Inference)、TensorRT-LLM といった主要推論フレームワークは全部自己回帰型前提で作られている。Mercury を本番環境で動かすには、推論インフラを自前で組み直す必要がある。多くの企業にとって、この段階で導入を断念するだろう。

2. API の非互換]<]minimax[>[>

OpenAI API が事実上の業界標準だ。LangChain、LlamaIndex、すべての Agent フレームワークがデフォルトで OpenAI プロトコル前提で動いている。Mercury のネイティブ API はこれと互換しないため、統合コストはゼロにならない。Inception Labs は OpenAI 互換レイヤーを用意しているが、機能には当然制約がある。

3. ファインチューニングツールチェーンの欠落]<]minimax[>[>

自社コードベースで fine-tune したい企業ユーザー向けには、現時点でほぼ成熟したソリューションがない。LoRA や QLoRA といった技法は Transformer の自己回帰向けに設計されており、拡散モデルの微調整パイプラインは研究段階だ。

個人的見解:速度面の優位性は 2026〜2027 年に自己回帰モデルのキャッシュ最適化(prompt caching や speculative decoding)にかなり詰められるはずだ。Anthropic の prompt caching はすでに繰り返し出現する prefix のコストを 1/10 にまで下げているし、speculative decoding(小モデルで草稿→大モデルで検証)でも 2〜3 倍の高速化は容易い。GPT-5 や Claude 5 といった次世代モデルがこれらをネイティブに統合してくれば、Mercury の 10 倍優位性は 2〜3 倍程度に縮む。そのレベルになると、速度単独では決定打にならない。

Inception Labs 本当の堀は「AI プログラミング特化モデル」というポジショニングであって、「速い」一点だけでは足りない。Cursor と深く統合するなどで IDE 体験そのものを一段引き上げるプロダクトを出せれば、はじめて活路が見えてくる。

編集後記 ── 拡散 vs 自己回帰の先にあるもの

Mercury 2.5 は表面的には「また新しい LLM が出た」話に見えるが、実態は アーキテクチャ選択という根本レベルの分岐 であり、看過できない。

過去 5 年、LLM はほぼ例外なく自己回帰ルートを歩み、パラメータやデータや RLHF で競い合ってきた。Mercury(それに先立つ Mistral の実験や Google の diffusion-for-text 研究)は、全く別の経路が工学的にも成立し、しかも速度・構造化出力・並列性という固有の強みを持つことを証明した。

CPU 史における RISC vs CISC を想起させる。短期的にはエコシステムの成熟度で CISC(自己回帰)が支配的であり続けるだろうが、RISC(拡散)は低レイテンシ・構造化・並列処理が重要なニッチを確実に押さえる。長期的には両者の融合が起きる可能性がある ── 例えば次世代モデルが、高レベルのプランニングには自己回帰を、ローカルな精緻化には拡散を使うといった形だ。

実務者への示唆は明快で、「Transformer の自己回帰」という一つのバスケットに卵を全部入れるのは得策ではない。IDE 補完、リアルタイム音声、ロボット制御などレイテンシに極めてセンシティブなプロダクトを手掛けているなら、拡散型ルートを真剣に評価する価値がある。少なくとも Mercury の API を叩いて実際の体験を確かめてみるべきだ。

不確実な領域も残されている。拡散モデルの長コンテキスト(>32k tokens)性能や複雑な推論タスクでの振る舞いは、公表データがまだ乏しい。公式ブログは HumanEval のような短タスクのベンチマークが中心で、長尺タスクでの実力は第三者テストの蓄積を待つ必要がある。

速度は差別化要因にはなるが、ゴールではない。


参考ソース:

出典: https://www.inceptionlabs.ai/blog/introducing-mercury-2-5