昨天 HN 首页刷到一篇论文,标题很短:Hybrid Reasoning Agents: LLM agents that think in latent space, act through text。Together Computer 团队开源,代码、模型权重全部放出来了。我花了一晚上把论文和仓库翻了一遍,下面是我看到的真东西。
什么是 Hybrid Reasoning Agent
一句话:思考阶段在 latent space(连续向量),执行阶段在 text space(可读 tool call)。
传统 ReAct / AutoGPT 范式是这样的:
Thought: 我需要先查一下北京天气
Action: search("北京天气")
Observation: 25 度,晴
Thought: 用户问的是上海,我搞错了
Action: search("上海天气")
每一步都要把"内部推理"显式吐出来,变成字符串。这种范式的几个老毛病:
- Token 烧钱,长链路任务一次跑几千 token
- 推理暴露给用户,容易被 prompt injection
- CoT 本身被当成"可解释性审计依据",其实内部逻辑不一定等价于说出来的话
HybridAgent 的解法是:让模型在 embedding 空间里"想",想完了再翻译成可读动作。外部看你发的是正常的 tool call(search(...)),但中间那些推理循环跑在连续向量里,不占文本 token。
arXiv 编号 2610.18861,GitHub 仓库在 github.com/togethercomputer/HybridAgent,模型权重在 HF 集合 togethercomputer/HybridAgent。
论文到底改了什么
核心是两层架构,论文 §3 写得很清楚。
1. Latent Reasoning Module
训练时在 base model 的每一层后插一个轻量 adapter,输入是上一层的 hidden state,输出是"潜在思考向量",再灌给下一层。adapter 用 RL 训练(论文对比了 PPO 和他们自己的 hybrid objective,后者更稳),目标是让"想出来的向量"对下游 action 选择有帮助。
Adapter 参数量很小,论文报的是 base model 的 1-3%,基本可以当 LoRA 一样热插拔。
2. Action Decoder
这一段是把 latent 翻译成 text。模型还是同一个 LLM,但在 "action step" 走标准自回归输出 tool call,在 "thought step" 走 latent 输出。Decoding 时,触发器是一个特殊 token <|latent_step|>,碰到它就切到向量模式,碰到 <|action_step|> 就切回文本模式。
这个设计的好处:同一个 base model,可以同时用纯文本 CoT 和 latent CoT,互不干扰。论文做了一个 ablation,纯 latent 比纯文本 CoT 在长链路任务上 token 量省掉 40-60%,但单步准确率不掉。
代码和模型在哪
仓库结构很标准,5 分钟能跑起来:
git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt
推理入口在 examples/run_hybrid_agent.py,关键片段:
from hybrid_agent import HybridAgent, HybridConfig
config = HybridConfig(
base_model="togethercomputer/HybridAgent-7B-base",
latent_adapter="togethercomputer/HybridAgent-7B-latent",
action_decoder="togethercomputer/HybridAgent-7B-action",
max_latent_steps=8,
)
agent = HybridAgent(config)
result = agent.run(
task="查找北京今天 PM2.5 数值,并给出口罩建议",
tools=[search_tool, calculator_tool],
)
print(result.final_answer)
HF 上的 checkpoint 命名规律是 {base}-{variant},variant 有 latent(只 latent 推理)、action(只 action)、hybrid(完整)。挑 hybrid 版本用就行。
要本地推理推荐配合 vLLM,仓库里有现成的 serve_vllm.sh 启动脚本。
benchmark 数据怎么样
论文 §5 给的对比表,base model 一律是同一个 LLaMA-3-70B,只看是走 latent hybrid 还是显式 CoT:
| Benchmark | 显式 CoT | Hybrid (latent) | Token 节省 |
|---|---|---|---|
| HotpotQA (multi-hop QA) | 52.3% | 54.1% | ~45% |
| ALFWorld (text env agent) | 68.0% | 71.4% | ~52% |
| WebShop (web agent) | 41.7% | 43.2% | ~38% |
| MATH (纯推理) | 78.1% | 77.5% | ~20% |
| HumanEval | 84.0% | 83.7% | ~15% |
几个观察:
- Agent 类任务(前三行)明显涨:因为 latent 推理允许"多次内部思考再行动",对需要规划的任务天然友好
- 纯推理 / 纯代码任务几乎打平:MATH 和 HumanEval 上 latent 没优势,说明 latent 不是万灵药,它在"需要边行动边调整"的场景才有收益
- Token 成本下降显著:即使准确率一样的任务,latent 路径也省 15-20% token,长链路节省更夸张
为什么这件事值得认真看
不是堆套话,三个真正的影响:
1. 推理成本
长链路 agent 任务的成本结构被改了。一个 20 步的 ALFWorld episode,显式 CoT 一次跑下来可能要 8K-12K tokens,latent 路径压到 4K-6K。对生产环境的 agent 产品,这是个直接的毛利率改善点。
2. 可解释性假设被动摇
很多研究把 LLM 的 CoT 当"推理审计"的依据 — 你说啥就以为你想啥。Latent reasoning 把这条等号直接打掉:模型真的在想 ≠ 模型说的在想。后面要做 agent safety / 合规审计的人,得假设 CoT 是不可信的,这是方法论层面的撼动。
3. 架构选择问题
往后做 agent 的人,要在三个层级做选择:Prompt 层(写清楚指令)、Scaffold 层(LangGraph / AutoGen 那种状态图)、Thinking 层(显式文本 vs latent 向量)。Together 这工作把第三个维度变成了一个可选项,不再是"只能用 CoT"或"只能用 RL hidden state"二选一。
编辑思考
潜空间推理不是新点子。早两年 Geirhos 等人就在 transformer 的 hidden state 上做"internal computation",DeepMind 的 Chain-of-Thought in Latent Space (2024) 也做过类似事。但 Together 这工作真正的意义不在理论,在可复现:开源代码 + 开源权重 + 完整训练流程,这是把研究方向变成"明天就能跑"的工程选项。
一个反共识判断:当前主流 agent 框架的瓶颈不在推理格式,在工具质量和错误恢复。HybridAgent 没直接解决 tool selection 的失败模式,没解决错误回滚,也没解决工具返回的脏数据问题。把这些不解决,哪怕 thinking 再省 token,agent 还是会在第 5 步崩。所以这个工作的现实价值是"降本",不是"提质"。
一个不确定点:Hugging Face 上 togethercomputer/HybridAgent 那批 checkpoint,实际跑出来和论文 54.1% / 71.4% 的差距有多少,我还没自己全量跑一遍 benchmark。仓库里给的 eval 脚本能复现,但显存门槛 7B 至少 24G,70B 得上 H100。等我跑完再补一个 follow-up。