어제 HN 1면에 올라온 논문, 제목은 짧다. Hybrid Reasoning Agents: LLM agents that think in latent space, act through text. Together Computer 팀이 전부 오픈소스로 풀었고, 코드와 모델 가중치까지 함께 공개됐다. 밤새 논문과 레포를 훑어본 결과를 정리한다.
Hybrid Reasoning Agent란
한 줄 요약: 사고는 latent space(연속 벡터)에서, 실행은 text space(가독성 있는 tool call)에서 일어난다.
기존 ReAct / AutoGPT 패러다임은 이런 식이다:
Thought: 먼저 베이징 날씨를 확인해야겠다
Action: search("베이징 날씨")
Observation: 25도, 맑음
Thought: 사용자는 상하이를 물어본 거였다
Action: search("상하이 날씨")
매 단계마다 "내부 추론"을 명시적으로 문자열로 뱉어낸다. 이 패러다임의 고질적인 문제들:
- 토큰 소모가 크고, 긴 체인 태스크는 한 번에数千 토큰이 날아간다
- 추론이 그대로 노출되어 prompt injection에 취약하다
- CoT 자체를 "설명 가능성 감사 근거"로 쓰는데, 실제 내부 로직과 1:1 매칭되지 않는 경우가 흔하다
HybridAgent의 해법은 이렇다. 모델이 임베딩 공간에서 "생각"하고, 생각이 끝나면 사람이 읽을 수 있는 액션으로 번역해 출력한다. 외부에서 보기에는 평범한 tool call(search(...))을 보내는 에이전트인데, 중간에 도는 추론 루프는 연속 벡터 안에서 돌아 텍스트 토큰을 거의 먹지 않는다.
arXiv 번호 2610.18861, GitHub 레포는 github.com/togethercomputer/HybridAgent, 모델 가중치는 HF 컬렉션 togethercomputer/HybridAgent에 올라와 있다.
논문이 실제로 바꾼 부분
핵심은 두 레이어 아키텍처다. 논문 §3에 명확히 적혀 있다.
1. Latent Reasoning Module
학습 시 base model의 각 레이어 뒤에 가벼운 adapter를 끼운다. 입력은 직전 레이어의 hidden state, 출력은 "잠재 사고 벡터"이며 이게 다시 다음 레이어로 들어간다. adapter는 RL로 학습시킨다(논문에서 PPO와 자체 hybrid objective를 비교했는데 후자가 더 안정적). 목적은 "생각해 낸 벡터"가 downstream action 선택에 도움이 되도록 만드는 것이다.
adapter 파라미터는 매우 작아서, 논문 기준 base model의 1–3% 수준이다. 거의 LoRA처럼 핫스왑 가능하다.
2. Action Decoder
이 부분이 latent를 텍스트로 번역한다. 모델은 같은 LLM을 그대로 쓰는데, "action step"에서는 표준 자기회귀로 tool call을 출력하고, "thought step"에서는 latent를 출력한다. 디코딩 트리거는 두 개의 special token이다. <|latent_step|>를 만나면 벡터 모드로, <|action_step|>를 만나면 다시 텍스트 모드로 전환한다.
이런 설계의 장점: 동일 base model이 순수 텍스트 CoT와 latent CoT를 동시에 쓸 수 있고, 서로 간섭하지 않는다. 논문의 ablation 결과, 순수 latent는 긴 체인 태스크에서 토큰을 40–60% 줄이면서도 single-step 정확도는 떨어지지 않았다.
코드와 모델 위치
레포 구조가 깔끔해서 5분이면 띄울 수 있다:
git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt
추론 진입점은 examples/run_hybrid_agent.py. 핵심 부분만 발췌하면:
from hybrid_agent import HybridAgent, HybridConfig
config = HybridConfig(
base_model="togethercomputer/HybridAgent-7B-base",
latent_adapter="togethercomputer/HybridAgent-7B-latent",
action_decoder="togethercomputer/HybridAgent-7B-action",
max_latent_steps=8,
)
agent = HybridAgent(config)
result = agent.run(
task="베이징 오늘 PM2.5 수치를 찾고, 마스크 착용 여부를 추천해줘",
tools=[search_tool, calculator_tool],
)
print(result.final_answer)
HF의 checkpoint 네이밍 규칙은 {base}-{variant}다. variant는 latent(잠재 추론만), action(액션만), hybrid(전체)가 있다. 그냥 hybrid만 쓰면 된다.
로컬 추론은 vLLM과 함께 쓰는 게 편하다. 레포에 serve_vllm.sh 시작 스크립트가 이미 들어 있다.
벤치마크 결과
논문 §5 비교 표. base model은 전부 동일한 LLaMA-3-70B이고, 비교 대상은 latent hybrid vs 명시적 CoT 두 가지다:
| Benchmark | 명시적 CoT | Hybrid (latent) | 토큰 절감 |
|---|---|---|---|
| HotpotQA (multi-hop QA) | 52.3% | 54.1% | ~45% |
| ALFWorld (text env agent) | 68.0% | 71.4% | ~52% |
| WebShop (web agent) | 41.7% | 43.2% | ~38% |
| MATH (순수 추론) | 78.1% | 77.5% | ~20% |
| HumanEval | 84.0% | 83.7% | ~15% |
몇 가지 관찰:
- 에이전트 유형 태스크(상위 3행)에서 의미 있게 상승: 잠재 추론이 "내부적으로 여러 번 생각한 뒤 행동"을 허용하기 때문에, 계획이 필요한 태스크와 자연스럽게 맞아떨진다.
- 순수 추론 / 순수 코드 태스크는 거의 동률: MATH와 HumanEval에서 latent가 우위를 보이지 않는다. latent가 만능이 아니라는 신호이며, "행동과 조정을 반복해야 하는" 시나리오에서만 진가가 나온다.
- 토큰 비용은 일관되게 감소: 정확도가 같은 태스크에서도 latent 경로는 15–20% 토큰을 줄이고, 긴 체인에서는 더 심하게 절감된다.
왜 이걸 진지하게 봐야 하는가
홍보성 멘트는 빼고, 실제로 영향 있는 세 가지만 적는다.
1. 추론 비용
체인 길이가 긴 에이전트 태스크의 비용 구조가 다시 그려진다. 20단계짜리 ALFWorld 에피소드 하나에 명시 CoT는 8K–12K 토큰이 들어가는 반면, latent 경로는 4K–6K로 줄어든다. 운영 중인 에이전트 상품에게는 바로 이익률改善로 이어진다.
2. 설명 가능성 가정이 흔들린다
많은 연구가 LLM의 CoT를 "추론 감사"의 근거로 다뤘는데—말한 대로 생각한다고 가정했다. Latent reasoning은 이 등식을 정면으로 부순다. 모델이 진짜로 생각한 것 ≠ 모델이 말한 대로 생각한 것. 앞으로 에이전트 안전성 / 컴플라이언스 감사를 하는 사람은 "CoT는 신뢰할 수 없다"를 전제로 깔아야 하고, 이건 방법론 차원의 충격이다.
3. 아키텍처 선택지의 확대
앞으로 에이전트를 만드는 사람은 세 레이어에서 선택을 내려야 한다. Prompt 레이어(명령을 명확히 쓰는 것), Scaffold 레이어(LangGraph / AutoGen처럼 상태 그래프를 짜는 것), 그리고 Thinking 레이어(명시적 텍스트 vs 잠재 벡터). Together의 이 작업이 세 번째 차이를 선택 가능한 옵션으로 끌어올렸다. 이제 "CoT 아니면 RL hidden state"의 이분법에서 벗어날 수 있다.
에디터의 생각
잠재 공간 추론 자체는 새 아이디어가 아니다. 2년 전부터 Geirhos 등이 transformer의 hidden state에서 internal computation을 시도했고, DeepMind의 Chain-of-Thought in Latent Space(2024)도 비슷한 작업을 했다. 그럼에도 Together의 이 작업이 의미 있는 이유는 이론이 아니라 재현 가능성에 있다. 오픈소스 코드 + 오픈소스 가중치 + 완전한 학습 파이프라인, 연구 방향을 "내일 당장 돌려볼 수 있는" 엔지니어링 옵션으로 바꾼 것이다.
반(反)합의적인 판단 하나. 현재主流 에이전트 프레임워크의 병목은 추론 포맷이 아니라, 툴 품질과 에러 복구다. HybridAgent가 해결한 것은 토큰 비용이지, tool selection 실패 패턴, 에러 롤백, 툴이 뱉는脏 데이터 문제가 아니다. 이걸 안 풀면 아무리 thinking이 토큰을 아끼든 5번째 단계에서 에이전트가 무너진다. 결국 이 작업이 현실적으로 주는 가치는 "提質"가 아니라 "降本"이다.
아직 불확실한 지점도 적어둔다. Hugging Face의 togethercomputer/HybridAgent 체크포인트들을 실제로 돌려 봤을 때 논문의 54.1% / 71.4%와 얼마나 차이가 나는지 풀벤치를 아직 안 돌려 봤다. 레포에 있는 eval 스크립트로 재현은 되는데, 7B는 최소 24G VRAM, 70B는 H100급이 필요하다. 다 돌리고 나면 follow-up으로 정리하겠다.
출처: arXiv 2610.18861, GitHub, HF Collections.