フレームワーク

HybridAgent解体新書:潜在空間で思考するLLMエージェントの仕組み

Together ComputerがHybridAgentをオープンソース化。CoTをテキストからベクトル空間へ移し、論文・コード・重みをすべて公開。本記事では手法の核心、再現手順、実運用への影響を整理する。

文字サイズ

HybridAgent解体新書:潜在空間で思考するLLMエージェントの仕組み

昨日HNのフロントページに載っていた論文、タイトルは短い:Hybrid Reasoning Agents: LLM agents that think in latent space, act through text。Together Computerチームがオープンソース化し、コードとモデル重みをすべて公開している。一晩かけて論文とリポジトリを読み込んだので、見えてきたものをまとめる。

Hybrid Reasoning Agentとは何か

一言で言えば:思考フェーズはlatent space(連続ベクトル)、実行フェーズはtext space(可読なtool call)。

従来のReAct / AutoGPTパラダイムはこうだ:

Thought: 北京の天気を調べる必要がある
Action: search("北京天気")
Observation: 25度、晴れ
Thought: ユーザーは上海のことが聞きたいのであって、自分は間違えた
Action: search("上海天気")

各ステップで「内部の推論」を明示的に文字列として吐き出す必要がある。このパラダイムには昔から以下の問題がある。

  • トークンを大量に消費し、長鎖タスクは一度に数千トークンを消費する
  • 推論がユーザーに露出するため、prompt injectionの的になりやすい
  • CoT自体が「説明可能性の監査根拠」として扱われているが、内部のロジックが必ずしも出力テキストと一致するとは限らない

HybridAgentのアプローチはこうだ:モデルにembedding空間で「考え」させ、考え終わったら可読なアクションに変換する。外部から見えるのは通常のtool call(search(...))だが、その間の推論ループは連続ベクトル上で実行されるため、テキストトークンを消費しない。

arXivの番号は2610.18861、GitHubリポジトリはgithub.com/togethercomputer/HybridAgent、モデル重みはHuggingFaceのコレクションtogethercomputer/HybridAgentに公開されている。

論文が実際に変えたところ

中心になるのは2層アーキテクチャで、論文§3に丁寧に書かれている。

1. Latent Reasoning Module

訓練時には、base modelの各層の後に軽量なadapterを差し込む。入力は前層のhidden state、出力は「潜在思考ベクトル」で、これを次の層に流し込む。adapterはRLで訓練し(論文ではPPOと彼ら独自のhybrid objectiveを比較、後者の方が安定)、出力されるベクトルが下流のaction選択に役立つかどうかが目的になる。

adapterの追加パラメータ数はごく小さく、論文ではbase modelの1〜3%と報告されている。事実上LoRAのように着脱できる。

2. Action Decoder

このパートでlatentをtextに変換する。モデルは同じLLMのままだが、「action step」では標準的な自己回帰でtool callを出力し、「thought step」ではlatentを出力する。decoding時のトリガーは特殊トークン<|latent_step|>で、これに遭遇したらベクトルモードに、<action_step>でテキストモードに戻る。

この設計の利点は、同じbase modelで純テキストCoTとlatent CoTを同時に使え、相互に干渉しないこと。論文のablationでは、純latentは純テキストCoTと比べて、長鎖タスクでトークン量を40〜60%削減しつつ、単ステップ精度を落とさない。

コードとモデルの場所

リポジトリ構成は標準的で、5分で動かせる。

git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt

推論のエントリーポイントはexamples/run_hybrid_agent.pyで、要点は次のとおり。

from hybrid_agent import HybridAgent, HybridConfig

config = HybridConfig(
    base_model="togethercomputer/HybridAgent-7B-base",
    latent_adapter="togethercomputer/HybridAgent-7B-latent",
    action_decoder="togethercomputer/HybridAgent-7B-action",
    max_latent_steps=8,
)

agent = HybridAgent(config)

result = agent.run(
    task="查找北京今天 PM2.5 数值,并给出口罩建议",
    tools=[search_tool, calculator_tool],
)
print(result.final_answer)

HF上のcheckpoint命名規則は{base}-{variant}で、variantにはlatent(latent推論のみ)、action(actionのみ)、hybrid(完全版)がある。通常はhybridを選べばよい。

ローカル推論はvLLMの組み合わせが推奨で、リポジトリにserve_vllm.shという起動スクリプトが用意されている。

ベンチマーク結果

論文§5の比較表。base modelはすべて同一のLLaMA-3-70Bで、latentハイブリッドか明示的CoTかだけが変数。

Benchmark明示的 CoTHybrid (latent)Token削減
HotpotQA (multi-hop QA)52.3%54.1%~45%
ALFWorld (text env agent)68.0%71.4%~52%
WebShop (web agent)41.7%43.2%~38%
MATH (純推論)78.1%77.5%~20%
HumanEval84.0%83.7%~15%

読み取れるポイント:

  • エージェント系タスク(上3行)で明確な向上:latent推論は「内部で何度も考えてから動く」ことを許すため、計画が必要なタスクと相性が良い
  • 純推論/純コードタスクはほぼ互角:MATHとHumanEvalではlatentの優位はなく、latentが万能薬ではなく「行動しながら調整する」場面でこそ効くと分かる
  • トークンコストは明確に下がる:精度が同じタスクでもlatent経路は15〜20%トークンを削減し、長鎖になれば削減幅はより大きくなる

なぜこの仕事が注目に値するか

お題目を並べるのではなく、実際に効く3つのインパクトを挙げる。

1. 推論コスト

長鎖エージェントタスクのコスト構造が変わる。例えば20ステップのALFWorldエピソードは、明示的CoTだと8K〜12Kトークン必要になるケースがあるが、latent経路なら4K〜6Kに圧縮できる。本番運用中のエージェントプロダクトにとっては、直接的な粗利率改善ポイントになる。

2. 説明可能性という前提が揺らぐ

多くの研究がLLMのCoTを「推論監査」の根拠にしてきた——つまりモデルが言ったことが、モデルが考えたことだと思い込む。latent reasoningはこの等式を切り崩す:モデルが本当に考えていること ≠ モデルが考えていると言ったこと。これからエージェント安全性やコンプライアンス監査に取り組む人は、CoTは信用できないと前提を置く必要があり、これは方法論レベルの転換になる。

3. アーキテクチャ選択の問題

これからエージェントを作る人は、3つの階層で選択を行うことになる:Prompt層(明確に書く)、Scaffold層(LangGraph / AutoGenのような状態グラフ)、そしてThinking層(明示テキスト vs latentベクトル)。Togetherの仕事は3つ目の次元を実行可能な選択肢に変えた。「CoTしか使えない」「RLで得たhidden stateしかない」という二者択一ではなくなった。

編集後記的な考察

潜在空間での推論は新しいアイデアではない。2年ほど前から、Geirhosらがtransformerのhidden state上で「internal computation」を行う研究をしているし、DeepMindのChain-of-Thought in Latent Space (2024)も類似のことをやっている。ただ、Togetherの仕事の本当の意味は理論面ではなく、再現性にある。オープンソースコード、オープン重み、訓練フロー一式が揃っていることで、研究の方向性が「明日から動かせる」エンジニアリングの選択肢に変わる。

少し逆張りの見方を一つ:現在の主流エージェントフレームワークのボトルネックは推論形式ではなく、ツールの質とエラー回復にある。HybridAgentはtool selectionの失敗モードには触れていないし、エラーのロールバックにも、ツールが返すノイジーデータ問題にも答えを出していない。これらを残したままでは、thinking層のトークン効率を上げてもエージェントは5ステップ目で壊れる。だからこの仕事の現実的な価値は「コスト削減」であって「品質向上」ではない。

不確実な点:HF上のtogethercomputer/HybridAgentというcheckpoint群が、実際に動かして論文の54.1% / 71.4%からどれだけ乖離するか、まだ自分ではフルでベンチを回しきれていない。リポジトリにはevalスクリプトが揃っているので再現は可能だが、VRAM要件は7Bでも24GB、70BならH100が必要となる。回しきったらフォローアップを別途書く。

出典:arXiv 2610.18861、GitHub、HF Collections。

出典: https://arxiv.org/abs/2610.18861