大規模言語モデル

Jev が LLM に「新しい形」を提案——Transformer 以外の選択肢は本当にあるのか?

Simon Willison が報じた新モデル Jev が HN 一位を獲得した。スコア 20 に対しコメントはわずか 3 件という異例の比率は、冷静な初期反応なのか、それとも過小評価されたスタートなのか。

文字サイズ

Jev とは何か、なぜ HN 一位を獲得できたのか

9 月 21 日、Simon Willison のブログに短い記事が投稿された。タイトルには "Jev: A new shape for LLMs" とあり、「新しい形」の三文字には引用符も疑問符も付いていない。元記事リンク:simonwillison.net/2026/Sep/21/jev/

Jev の開発者はこれを「新しいタイプの LLM」と位置づけ、現在の主流アーキテクチャとは異なる路線を掲げている。Simon 氏は凡庸なプロダクトにブログを書くようなライターではない。独立系レビュアーの中でも新モデルのキャッチが最速クラスで、Mistral の初期バージョン、Llama シリーズ各種、GPT-5 の事前予測などを真っ先に取り上げてきた。彼が記事を書くということは、Jev が単なる LoRA ファインチューンのラッパーではないことの最低限の裏付けにはなる。

同日のうちに Jev は Hacker News の一位に浮上した。スコア 20、コメント 3 件——この比率はやや奇妙だ。通常、HN 一位の投稿はスコアに対してコメント数が 30%〜60% 程度つくため、20 点であれば 8〜15 件はつくはず。3 件という数字は二つを示唆する。閲覧者は多いが誰も発言できないのか、もしくは実際にはそこまで見られていないのか。この点については後段で掘り下げる。

HN ポストのリンク:item?id=49796843

「新しい形」は何が新しいのか

率直に言えば、現時点では確証できる答えを書くことができない。というのも、現時点で公開されている情報には:

  • ベンチマークの数値が存在しない
  • 技術原理を解説した論文やブログ記事がない
  • 学習手法の説明がない
  • オープンソースの重みが公開されていない(Simon 氏の投稿時点まで)

Simon のブログ要約は一言、「A new LLM with a new shape.」で片づけられている。AI 業界では「ゲームチェンジング」みたいな誇張表現をタイトルに盛る傾向があるため、このような極端に簡素な言い回しは珍しい。

これらの手がかりから推測できる方向性はいくつかある:

  1. 非 Transformer バックボーン——例えば状態空間モデル(Mamba 系)、線形アテンションの変種、あるいは何らかのハイブリッドアーキテクチャ。
  2. 非自己回帰デコード——並列生成、拡散型 LLM(Mercury のように双方向から生成を攻める方式)。
  3. 新しいトポロジー——チェイン推論でもトークン単位でもない、グラフ構造・木構造での生成。
  4. 完全なる再設計——KV cache に代わるまったく新しいメモリ機構。

個人的には #1 か #4 が最も有力だと考える。過去 2 年間で非 Transformer ルートの研究蓄積が最も進んでいるのはこの二つだからだ。ただし現状は推測の域を出ず、Jev 側から公式な発表が出てこなければ断定できない。

なぜコメントがつかないのか——人が見ていないのではなく、コメントできる材料がない

スコア 20 に対してコメント 3 件という奇妙な比率には、以下のような説明が成り立つ。

閲覧者がいないのではなく、コミュニティが手を出せない。

HN における技術投稿のコメント活性は、以下の 2 要素と強く相関する。

  • 検証可能なベンチマーク——MMLU、HELM、HumanEval、LiveCodeBench などのスコアが出ると、コメント欄が一気に活性化する。
  • 読めるコード / 論文——arxiv リンク、GitHub リポジトリ、あるいはデモ URL のいずれかがあること。

Jev はこの 3 条件いずれも満たしていない。「新しい形状」をうたう LLM において、loss curve のグラフすら公開されていない状態では、熟練ユーザーたちは沈黙を選ぶ。発言すればすべて推測になり、的外れな批評家になりたがる人間はいない。

このことが、スコア 20 に対してなお 3 件のコメントがつく理由も説明する——その 3 件はほぼ確実に「Interesting」「Watching」といった好奇心ベースの短文で、本格的な技術議論ではない。

Mamba の初期や Mistral 7B がリークされた時期に HN を見ていた経験からも、同じパターンを見ている。あらかた沈黙があり、リポジトリや論文が出た瞬間にコメント数が爆発する。

Transformer が天下を取ったここ数年、挑戦者たちはどうなったか

2023 年末〜2026 年初頭までの期間に、Transformer の代替は少なくとも以下のものが登場した。

プロジェクトコアアイデア現状
Mamba / Mamba-2状態空間モデル、線形計算量論文あり、オープンソース版あり。ただしエコシステム(Hugging Face・vLLM サポート)は Llama 系に大きく劣後
RWKVRNN と Transformer のハイブリッド、長文脈の効率的推論をうたい文句にニッチなコミュニティで稼働中、主流ベンダーの採用はほぼなし
RetNet / TransNormerマルチスケール減衰アテンションを保持し、Transformer 代替を標榜Microsoft 系のプロジェクトで学術的影響力は大きいが、実用展開はほぼゼロ
xLSTMLSTM のメモリ機構を拡張2024 年に Sepp Hochreiter チームが発表、論文レベルの話題性
Mercury / diffusion LLM拡散型生成によるトークンの並列出力Inception Labs が開発中、商用デモ稼働済み

これらの共通点はかなり痛い:推論コストは確かに安くなるが、エコシステムは Transformer に全く太刀打ちできない。

エコシステムとは何か。具体的には:

  • Hugging Face Transformers での一行ロード
  • vLLM、TensorRT-LLM、llama.cpp といった推論フレームワークのネイティブ対応
  • コミュニティファインチューニング(LoRA・QLoRA)のツールチェーン
  • 教材、ブログ記事、Stack Overflow の回答

これらを 1〜2 年で構築するのは不可能だ。Llama 2 の公開から vLLM の安定サポートまでに 1 年以上かかった。Mamba いまだに vLLM 対応は experimental 段階。

Jev が仮に非 Transformer 路線だとすれば、最初に解決すべき課題は「自分のモデルの方が優れている」ことではなく、「自分のモデルが実際に動かせる」ことである。

Jev が本物か、それとも PPT 段階か、私なりの検証手順

新モデルを本気でチェックする際に自分が使っている実務的なチェックリストを共有する。

1. ベンチマークを探す

最初に確認するのは 3 つのリーダーボード。

  • MMLU-Pro(総合推論)
  • HumanEval+ / LiveCodeBench(コード)
  • IFEval(指示追従)

これら 3 つのスコアがすべて未掲載なら、まず 30% 割引で聞く。

2. 推論コストを確認する

非 Transformer モデル最大の売りは多くの場合長文脈における推論コスト。次の 3 点を質問する。

  • 100K トークン文脈でスループットは何 token/s か
  • KV cache の占める VRAM はどの程度か
  • デプロイのハードル——A100 / H100 単カードでどのサイズのモデルが動くか

3. 自分でテストを走らせる

公式数字だけを信じない。自分がいつも走らせるのは:

# 簡単な長文脈検索テスト
import jev  # 仮のパッケージ名
model = jev.load("jev-base")
context = "..." * 50000  # 50K tokens
question = "47,382 番目のトークンで、著者はどの都市名を挙げていますか?"
response = model.generate(
    context=context,
    prompt=question,
    max_tokens=100,
)
print(response)
# 同じ入力で Llama 3.1 70B の回答と比較

Jev が本当に「新しい形状」をうたう以上、長文脈からの情報検索が強みであるはずだ。

4. コード / 論文を探す

  • GitHub リポジトリはあるか。star 数は重要ではなく、コミット頻度と issue への対応を見る。
  • arxiv 論文はあるか。アーキテクチャ図だけで実験がない論文ではないか。
  • デモ URL があるか。登録すればすぐ触れるか。

5. いつ信じるべきか、いつ様子見すべきか

  • 信じるべきケース:オープンウェイト公開 + 第三者による再現ベンチマークが一致 + 同クラス帯の Llama より推論コストが低い
  • 様子見すべきケース:デモのみ、ソース非公開、ベンチマークはすべて自社測定
  • 即座に無視すべきケース:デモすらなく、ベンチマークも他者のものを孫引きしているだけ

この基準で言うと、Jev は現時点で「完全なる様子見」のフェーズにある。

編集部の所感

「新しい形」という 3 文字が本物なら、2026 年の LLM 業界における最大のナラティブが「パラメータをどう増やすか」から「アーキテクチャを交換できるか」へ転換する可能性がある。GPT-5 以降の大規模モデルよりも、こちらの方が注目に値する——なぜなら、一点の性能ではなく推論コストカーブとハードウェア需要の構造そのものを変えるからだ。

ただ、私はこのニュースに対して慎重な楽観論しか持ち合わせていない。理由は 3 つある。

第一に、新アーキテクチャ LLM の死の谷は技術ではなくエコシステムにある。Mamba も RWKV も Hugging Face への適応段階で頓挫した。Jev は、自前でエコシステムを育てるか、巨大ベンダーに買収されて既存フレームワークに統合されるか、いずれかの道を選ぶ必要がある。さもなければ 3 年以内に AI 史の脚注に消えるだろう。

第二に、Simon のブログは推薦ではない。彼が書いているのは「注目に値する」ということであり、「優れている」ということではない。Llama 4、GPT-5、Claude の新バージョンも同じトーンで書かれている。読者は「noticed」と「recommended」を区別する必要がある。

第三に、現時点で公開情報が少なすぎる。20 点で 3 コメントというデータ自体が、コミュニティがまだ合意形成に至っていないことを示している。私個人の予想:Jev は 2 週間以内に完全な論文 + リポジトリを公開するか、2 週間経って HN 一位から消え去り次の新モデルに取って代わられるかのいずれか。

確率配分としては、前者 30%、後者 60%、残りの 10% はどこかの巨大ベンダーが水面下で買収し、それ以降独立した情報が一切出なくなるシナリオ。

どの結末になっても、2026 年の残り数か月は Jev の行く末を注視し続ける。

出典(必ず引用)

https://simonwillison.net/2026/Sep/21/jev/

出典: https://simonwillison.net/2026/Sep/21/jev/