HN 首頁昨天出現一篇標題極短的論文:Hybrid Reasoning Agents: LLM agents that think in latent space, act through text。Together Computer 團隊已將程式碼與模型權_weight 全部開源;本文整理其核心設計、復現路徑與真正的工程影響。
什麼是 Hybrid Reasoning Agent
一句話概括:思考階段在 latent space(連續向量)進行,執行階段則在 text space 產生可讀的 tool call。
傳統 ReAct/AutoGPT 流程通常像這樣:
Thought: 我需要先查一下北京天氣
Action: search("北京天氣")
Observation: 25 度,晴
Thought: 使用者問的是上海,我搞錯了
Action: search("上海天氣")
每一步都得把「內部推理」明確寫成字串。這種做法有幾個老問題:
- Token 成本高,長鏈路任務一次可能燒掉數千個 token。
- 推理內容會暴露給使用者,也較容易成為 prompt injection 的入口。
- CoT 常被當成「可解釋性與稽核依據」,但內部邏輯未必等於模型說出口的內容。
HybridAgent 的做法是:讓模型先在 embedding 空間思考,完成後再翻譯成可讀動作。外部看到的仍是正常 tool call,如 search(...);中間的推理迴圈則跑在連續向量中,不占用文字 token。
arXiv 編號為 2610.18861,GitHub 倉庫位於 github.com/togethercomputer/HybridAgent,模型權重則放在 HF 集合 togethercomputer/HybridAgent。
論文究竟改了什麼
核心是一套雙層架構,論文第 3 節說明得很清楚。
1. Latent Reasoning Module
訓練時,團隊在 base model 每一層後方插入輕量 adapter。模組接收上一層的 hidden state,產生「潛在思考向量」,再傳給下一層。adapter 以 RL 訓練;論文比較了 PPO 與團隊自訂的 hybrid objective,後者的穩定性較佳。訓練目標是讓思考向量能協助下游選擇正確 action。
adapter 的參數量很小,論文報告約為 base model 的 1~3%,實際使用時可視為類似 LoRA 的可熱插拔模組。
2. Action Decoder
這一層負責把 latent 轉成文字。模型仍是同一個 LLM,但在 action step 採用標準自回歸方式輸出 tool call,在 thought step 則輸出 latent 向量。解碼時,特殊 token <|latent_step|> 會切換至向量模式,<|action_step|> 則切回文字模式。
這項設計的優點是:同一個 base model 可同時支援純文字 CoT 與 latent CoT,兩者互不干擾。論文的 ablation 顯示,在維持相近單步準確率的情況下,純 latent 在長鏈路任務中可減少 40~60% token。
程式碼與模型在哪裡
倉庫結構標準,五分鐘即可完成基本設定:
git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt
推理入口位於 examples/run_hybrid_agent.py,核心用法如下:
from hybrid_agent import HybridAgent, HybridConfig
config = HybridConfig(
base_model="togethercomputer/HybridAgent-7B-base",
latent_adapter="togethercomputer/HybridAgent-7B-latent",
action_decoder="togethercomputer/HybridAgent-7B-action",
max_latent_steps=8,
)
agent = HybridAgent(config)
result = agent.run(
task="查找北京今天 PM2.5 數值,並給出口罩建議",
tools=[search_tool, calculator_tool],
)
print(result.final_answer)
HF 上的 checkpoint 採 {base}-{variant} 命名;variant 分為 latent(僅 latent 推理)、action(僅 action)與 hybrid(完整架構)。評估完整 HybridAgent 時,直接選擇 hybrid 版本即可。
若要在本地進行推理,推測搭配 vLLM;倉庫也附有可直接使用的 serve_vllm.sh 啟動腳本。
Benchmark 表現如何
論文第 5 節的比較表使用同一個 LLaMA-3-70B base model,差別只在於採用 latent hybrid 或顯式 CoT:
| Benchmark | 顯式 CoT | Hybrid (latent) | Token 節省 |
|---|---|---|---|
| HotpotQA(multi-hop QA) | 52.3% | 54.1% | 約 45% |
| ALFWorld(text env agent) | 68.0% | 71.4% | 約 52% |
| WebShop(web agent) | 41.7% | 43.2% | 約 38% |
| MATH(純推理) | 78.1% | 77.5% | 約 20% |
| HumanEval | 84.0% | 83.7% | 約 15% |
從數據可觀察出幾點:
- Agent 類任務前三項都有明顯提升。latent 推理允許模型「先在內部思考多次,再採取行動」,天然適合需要規劃的任務。
- 純推理與純程式任務幾乎打平。latent 在 MATH 與 HumanEval 沒有優勢,顯示它並非通用解法;真正產生效益的是需要一邊行動、一邊調整的場景。
- Token 成本顯著下降。即使準確率沒有變化,latent 路徑仍可節省 15~20% token;任務鏈路越長,節省幅度越高。
為什麼這項工作值得關注
真正值得留意的地方有三點。
1. 推理成本
長鏈路 Agent 任务的成本結構因此改變。一個 20 步的 ALFWorld episode,若採顯式 CoT,可能消耗 8K~12K tokens;latent 路徑則可壓到 4K~6K。對生產環境的 Agent 產品來說,這是能直接改善毛利的成本項目。
2. 可解釋性的基本假設受到動搖
不少研究把 LLM 的 CoT 當作推理稽核依據,彷彿模型說了什麼,就代表它如何思考。Latent reasoning 直接打破這條等式:模型真的在想,不代表模型口頭描述的就是實際思考過程。未來進行 Agent safety 或合規稽核時,必須把 CoT 視為不可信訊號;這是方法論層面的重大改變。
3. 架構選擇增加一個維度
開發 Agent 時,設計者得在三個層級之間取捨:Prompt 層(清楚寫出指令)、Scaffold 層(LangGraph/AutoGen 這類狀態圖),以及 Thinking 層(顯式文字或 latent 向量)。Together 的工作讓第三個維度成為可調選項,不再只能在「使用 CoT」與「依賴 RL hidden state」之間二選一。
編輯觀察
向量空間推理並非新概念。兩年前,Geirhos 等人就已在 Transformer 的 hidden state 上研究 internal computation;DeepMind 的 Chain-of-Thought in Latent Space(2024)也探索過類似方向。Together 這項工作的實際價值不在於提出全新理論,而在於可復現性:從開源程式碼、模型權重到完整訓練流程一應俱全,讓研究從概念變成隔天就能動手評估的工程選項。
另一個與主流看法相反的判斷是:當前 Agent 框架真正的瓶頸不在推理格式,而在工具品質與錯誤復原。HybridAgent 沒有直接處理 tool selection 的失敗模式、錯誤回滾,也沒有解決工具回傳髒資料的問題。這些問題若未改善,即使 thinking 層再省 token,Agent 還是可能在第五步就卡住。因此,這項工作的現階段價值主要在「降本」,還不是「提質」。
目前仍有一點尚未確認:Hugging Face 上 togethercomputer/HybridAgent 這批 checkpoint 的實際表現,與論文所列 54.1%/71.4% 之間究竟有多大差距。倉庫提供的 eval 腳本可以重現測試,但 7B 模型至少需要 24 GB 顯存,70B 則需要 H100;待完整跑完 benchmark 後,再補充實際結果。