HybridAgent解体新書:潜在空間で思考するLLMエージェントの仕組み
昨日HNのフロントページに載っていた論文、タイトルは短い:Hybrid Reasoning Agents: LLM agents that think in latent space, act through text。Together Computerチームがオープンソース化し、コードとモデル重みをすべて公開している。一晩かけて論文とリポジトリを読み込んだので、見えてきたものをまとめる。
Hybrid Reasoning Agentとは何か
一言で言えば:思考フェーズはlatent space(連続ベクトル)、実行フェーズはtext space(可読なtool call)。
従来のReAct / AutoGPTパラダイムはこうだ:
Thought: 北京の天気を調べる必要がある
Action: search("北京天気")
Observation: 25度、晴れ
Thought: ユーザーは上海のことが聞きたいのであって、自分は間違えた
Action: search("上海天気")各ステップで「内部の推論」を明示的に文字列として吐き出す必要がある。このパラダイムには昔から以下の問題がある。
- トークンを大量に消費し、長鎖タスクは一度に数千トークンを消費する
- 推論がユーザーに露出するため、prompt injectionの的になりやすい
- CoT自体が「説明可能性の監査根拠」として扱われているが、内部のロジックが必ずしも出力テキストと一致するとは限らない
HybridAgentのアプローチはこうだ:モデルにembedding空間で「考え」させ、考え終わったら可読なアクションに変換する。外部から見えるのは通常のtool call(search(...))だが、その間の推論ループは連続ベクトル上で実行されるため、テキストトークンを消費しない。
arXivの番号は2610.18861、GitHubリポジトリはgithub.com/togethercomputer/HybridAgent、モデル重みはHuggingFaceのコレクションtogethercomputer/HybridAgentに公開されている。
論文が実際に変えたところ
中心になるのは2層アーキテクチャで、論文§3に丁寧に書かれている。
1. Latent Reasoning Module
訓練時には、base modelの各層の後に軽量なadapterを差し込む。入力は前層のhidden state、出力は「潜在思考ベクトル」で、これを次の層に流し込む。adapterはRLで訓練し(論文ではPPOと彼ら独自のhybrid objectiveを比較、後者の方が安定)、出力されるベクトルが下流のaction選択に役立つかどうかが目的になる。
adapterの追加パラメータ数はごく小さく、論文ではbase modelの1〜3%と報告されている。事実上LoRAのように着脱できる。
2. Action Decoder
このパートでlatentをtextに変換する。モデルは同じLLMのままだが、「action step」では標準的な自己回帰でtool callを出力し、「thought step」ではlatentを出力する。decoding時のトリガーは特殊トークン<|latent_step|>で、これに遭遇したらベクトルモードに、<action_step>でテキストモードに戻る。
この設計の利点は、同じbase modelで純テキストCoTとlatent CoTを同時に使え、相互に干渉しないこと。論文のablationでは、純latentは純テキストCoTと比べて、長鎖タスクでトークン量を40〜60%削減しつつ、単ステップ精度を落とさない。
コードとモデルの場所
リポジトリ構成は標準的で、5分で動かせる。
git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt推論のエントリーポイントはexamples/run_hybrid_agent.pyで、要点は次のとおり。
from hybrid_agent import HybridAgent, HybridConfig
config = HybridConfig(
base_model="togethercomputer/HybridAgent-7B-base",
latent_adapter="togethercomputer/HybridAgent-7B-latent",
action_decoder="togethercomputer/HybridAgent-7B-action",
max_latent_steps=8,
)
agent = HybridAgent(config)
result = agent.run(
task="查找北京今天 PM2.5 数值,并给出口罩建议",
tools=[search_tool, calculator_tool],
)
print(result.final_answer)HF上のcheckpoint命名規則は{base}-{variant}で、variantにはlatent(latent推論のみ)、action(actionのみ)、hybrid(完全版)がある。通常はhybridを選べばよい。
ローカル推論はvLLMの組み合わせが推奨で、リポジトリにserve_vllm.shという起動スクリプトが用意されている。
ベンチマーク結果
論文§5の比較表。base modelはすべて同一のLLaMA-3-70Bで、latentハイブリッドか明示的CoTかだけが変数。
| Benchmark | 明示的 CoT | Hybrid (latent) | Token削減 |
|---|---|---|---|
| HotpotQA (multi-hop QA) | 52.3% | 54.1% | ~45% |
| ALFWorld (text env agent) | 68.0% | 71.4% | ~52% |
| WebShop (web agent) | 41.7% | 43.2% | ~38% |
| MATH (純推論) | 78.1% | 77.5% | ~20% |
| HumanEval | 84.0% | 83.7% | ~15% |
読み取れるポイント:
- エージェント系タスク(上3行)で明確な向上:latent推論は「内部で何度も考えてから動く」ことを許すため、計画が必要なタスクと相性が良い
- 純推論/純コードタスクはほぼ互角:MATHとHumanEvalではlatentの優位はなく、latentが万能薬ではなく「行動しながら調整する」場面でこそ効くと分かる
- トークンコストは明確に下がる:精度が同じタスクでもlatent経路は15〜20%トークンを削減し、長鎖になれば削減幅はより大きくなる
なぜこの仕事が注目に値するか
お題目を並べるのではなく、実際に効く3つのインパクトを挙げる。
1. 推論コスト
長鎖エージェントタスクのコスト構造が変わる。例えば20ステップのALFWorldエピソードは、明示的CoTだと8K〜12Kトークン必要になるケースがあるが、latent経路なら4K〜6Kに圧縮できる。本番運用中のエージェントプロダクトにとっては、直接的な粗利率改善ポイントになる。
2. 説明可能性という前提が揺らぐ
多くの研究がLLMのCoTを「推論監査」の根拠にしてきた——つまりモデルが言ったことが、モデルが考えたことだと思い込む。latent reasoningはこの等式を切り崩す:モデルが本当に考えていること ≠ モデルが考えていると言ったこと。これからエージェント安全性やコンプライアンス監査に取り組む人は、CoTは信用できないと前提を置く必要があり、これは方法論レベルの転換になる。
3. アーキテクチャ選択の問題
これからエージェントを作る人は、3つの階層で選択を行うことになる:Prompt層(明確に書く)、Scaffold層(LangGraph / AutoGenのような状態グラフ)、そしてThinking層(明示テキスト vs latentベクトル)。Togetherの仕事は3つ目の次元を実行可能な選択肢に変えた。「CoTしか使えない」「RLで得たhidden stateしかない」という二者択一ではなくなった。
編集後記的な考察
潜在空間での推論は新しいアイデアではない。2年ほど前から、Geirhosらがtransformerのhidden state上で「internal computation」を行う研究をしているし、DeepMindのChain-of-Thought in Latent Space (2024)も類似のことをやっている。ただ、Togetherの仕事の本当の意味は理論面ではなく、再現性にある。オープンソースコード、オープン重み、訓練フロー一式が揃っていることで、研究の方向性が「明日から動かせる」エンジニアリングの選択肢に変わる。
少し逆張りの見方を一つ:現在の主流エージェントフレームワークのボトルネックは推論形式ではなく、ツールの質とエラー回復にある。HybridAgentはtool selectionの失敗モードには触れていないし、エラーのロールバックにも、ツールが返すノイジーデータ問題にも答えを出していない。これらを残したままでは、thinking層のトークン効率を上げてもエージェントは5ステップ目で壊れる。だからこの仕事の現実的な価値は「コスト削減」であって「品質向上」ではない。
不確実な点:HF上のtogethercomputer/HybridAgentというcheckpoint群が、実際に動かして論文の54.1% / 71.4%からどれだけ乖離するか、まだ自分ではフルでベンチを回しきれていない。リポジトリにはevalスクリプトが揃っているので再現は可能だが、VRAM要件は7Bでも24GB、70BならH100が必要となる。回しきったらフォローアップを別途書く。