NVIDIA의 새 논문 Cache-to-Cache: Direct Semantic Communication Between Large Language Models (arXiv 2510.03215)은 다소 직관에 반하는 접근을 제시한다. 두 LLM이 더 이상 텍스트로 대화를 주고받지 않고, 키-값 캐시(KV-cache)를 직접 전송한다는 것이다. 논문이 주장하는 수치가 사실이라면 다중 모델 협업의 지연 시간을 한 자릿수 이상 줄일 수 있다.
Hacker News에 방금 올라와 13포인트에 댓글은 아직 0개다. 즉, 아무도 어떻게 까야 할지 몰라서 손을 못 떼고 있는 상태다.
기존 다중 모델 협업이 느린 이유
현재의 캐스케이드 추론(cascaded inference)은 다음과 같이 동작한다.
- 모델 A가 텍스트를 생성한다.
- 생성된 텍스트가 토큰 id로 변환된다.
- 모델 B가 id를 받아 embedding과 몇 층의 attention을 다시 실행한다.
- 모델 B가 그제서야 다음 결과를 만들어낸다.
이 과정에서 각 단계는 "직렬화-역직렬화"라는 무의미한 작업을 반복한다. 모델 A가 확률 분포를 이산 토큰 시퀀스로 압축하고, 모델 B가 그 시퀀스에서 정보를 다시 "추측"해 복원하는 구조다. 본질적으로 손실이 있는 압축이라 할 수 있다.
더 직접적인 비용은 지연 시간이다. 토큰 한 번의 왕복에 수십 밀리초가 걸리고, 긴 생성 구간이라면 수 초에 달한다. Agent 파이프라인에 모델 3~4개가串联되어 있다면 이 눈덩이는 점점 커진다.
Cache-to-Cache의 실제 동작 방식
핵심 아이디어는 한 줄로 요약된다. 모델 A의 KV-cache를 투사층(projection layer)을 통해 모델 B의 의미 공간으로 매핑하고, B가 그것을 곧바로 활용하도록 한다.
들어보면 "두 embedding을 합치는 정도"처럼 느껴지지만, 엔지니어링 관점에서는 전혀 다른 차원의 문제다. KV-cache는 단순한 벡터가 아니다. 각 attention head와 각 층의 K, V 텐서를 모두 포함한다. 모델마다 hidden size(Llama-3은 4096, Qwen-2.5는 3584), head 수, 층 수가 모두 다르다.
논문이 해결하려는 것은 중간 표현 정렬이다. A의 i번째 층 KV를 학습 가능한 변환 행렬을 통해 B가 "읽을 수 있는" 형태로 바꾸는 것이다. 어려운 점은 행렬 곱 자체가 아니라, 이 투사층을 어떻게 학습시키는지, 그리고 학습된 결과가 다른 입력에도 일반화될 수 있는지다.
arXiv 2510.03215의 실험 데이터
논문 초록에서 제시한 핵심 수치는 다음과 같다.
- 모델 간 통신 지연을 한 자릿수(10배) 줄일 수 있다.
- 충실도(fidelity)는 특정 의미 유사도 지표로 측정했다 — BERTScore인지 다른 지표인지는 본문을 봐야 확인할 수 있어 여기서는 단정하지 않는다.
- 아키텍처 간 실험: 이론상 Llama → Qwen처럼 서로 다른 계열의 모델도 동작하며, 투사층이 아키텍처 차이를 메워주는 역할을 한다.
주의할 점이 있다. 이 수치는 논문이 설정한 실험 환경에서 측정한 값이다. 프로덕션 환경의 지연 시간은 네트워크, batch size, 스케줄링 정책의 영향을 추가로 받는다. 10배라는 숫자는 통신 지연 자체의降幅일 가능성이 높지, 종단 간 wall-clock time까지 10배 줄어든다는 의미는 아니다.
Agent 파이프라인에 미치는 실질적 영향
이 접근이 자리 잡으면 다음 세 가지 시나리오가 즉시 혜택을 본다.
1. 모델 라우팅(routing)
현재는 소형 모델(예: Llama-3.1-8B)이 사용자 질문을 분석해 어느 전문가 모델로 보낼지 결정하고, 그 결과를 텍스트 라우팅 명령으로 전달한다. Cache-to-Cache를 적용하면 소형 모델이 KV 층에서 대형 모델에 "이제 X 방향으로 생각해"라고 직접 전달할 수 있어, 가운데 들어가는 자연어 설명을 생략할 수 있다.
2. 다중 Agent 협업(Planner → Coder)
AutoGen, CrewAI 같은 프레임워크에서 Planner가 작업을 분해해 Coder에 넘긴다. 텍스트를 전달하면 Coder는 Planner의 의도를 다시 "이해"해야 하지만, cache를 전달하면 Coder는 Planner가 이미 "정리해 둔" 상태를 그대로 이어받는다.
3. RAG + 추론의 캐스케이드
가장 흔한 조합이다. 검색기가 문서를 생성 모델에 넘기고, 생성 모델은 "읽고, 맥락을 이해하고, 답한다"는 작업을 수행한다. 검색기 자체가 소형 LLM이라면, 문서를 처리한 뒤의 KV-cache를 생성 모델에 곧바로 넘겨 후자가 원문을 다시 읽지 않도록 만들 수 있다.
Agent 설계자에게 더 유리한 점이 하나 있다. cache를 전달하는 방식이 텍스트를 전달하는 방식보다 "인터페이스 계약"이 더 엄격하다. 텍스트는 모호하다. "Python 함수 하나 작성해 줘"라는 문장을 다운스트림 모델이 어떻게 해석할지 알 수 없다. cache는 고차원 벡터라 의미가 더 밀도 높게 담겨 있다.
아직 풀리지 않은 의문
이 접근에는 세 가지 어려운 문제가 남아 있다.
1. 투사층 학습에 페어링 데이터가 얼마나 필요한가?
모델 A와 B에 대한 투사층을 학습하려면 두 모델이 동일 컨텍스트에서 생성한 KV-cache의 정렬 데이터가 필요하다. 이 데이터는 직접 합성해야(비용이 높다) 하거나 사용자 요청에서 수집해야(프라이버시 이슈) 한다. 논문에서 구체적인 데이터 규모를 찾지 못했다.
2. GPU 메모리가 감당할 수 있는가?
추론 시 두 모델의 KV-cache를 동시에 GPU에 올려두면 메모리 사용량이 즉시 두 배가 된다. 70B 모델을 8K context로 돌릴 때 KV-cache는 대략 10~20GB이고, 두 모델이면 20~40GB이다. 활성화값은 따로 계산해야 한다. 단일 카드 배포의 진입 장벽이 상당히 높다.
3. 상용 API에서는 어떻게 적용하나?
OpenAI, Anthropic의 API는 KV-cache를 아예 노출하지 않는다. 사용자가 받는 것은 텍스트 출력뿐이다. 이 길을 열려면 해당 벤더가主动적으로开放해야 하는데 그럴 동기가 없다. 결국 모두 오픈소스 모델을 직접 배포하는 방식(예: Meta, Mistral, Qwen 생태계)으로 가야 한다. 클로즈드 API 사용자는 사실상 막혀 있다.
편집자의 생각
이 연구의 진짜 의미는 "지연 10배"라는 숫자 자체가 아니라, 그동안 당연하게 받아들여져 온 설계 전제를 뒤집는 데 있다. LLM끼리는 반드시 인간 언어로 통신해야 한다는 가정이다.
지난 3년간 모든 Agent 오케스트레이션 프레임워크 — LangChain, LlamaIndex, AutoGen, CrewAI — 는 "모델 A가 텍스트를 출력하고 모델 B가 그 텍스트를 읽는다"는 전제 위에 세워졌다. NVIDIA의 논문이 검증되면 LangChain의 Chain, AgentExecutor 같은 추상화 계층을 다시 그려야 한다. PromptTemplate을 넘기는 것이 아니라 KVHandle을 넘기고, OutputParser로 텍스트를 파싱하는 대신 텐서를 직접 이어 붙이는 형태가 된다.
다만 프로덕션 적용까지는 두 가지 난관이 남아 있다. 첫째는 메모리 비용이다. 두 KV-cache를 동시에 GPU에 상주시키는 것은 배포 비용을 그대로 두 배로 부풀리므로, 높은 QPS 시나리오에서만 수지가 맞을 가능성이 크다. 둘째는 블랙박스 API의 봉쇄다. 주요 상용 모델은 KV-cache를 공개하지 않으므로, 이 길은 오픈소스 모델 생태계에 열려 있다. Qwen, Llama, Mistral 플레이어가 먼저 혜택을 보고, Anthropic / OpenAI 사용자는 한동안 옆에서 지켜봐야 한다.
개인적 판단으로는 이 연구는 "프로토콜 계층"의 초기 작업에 가깝고, 바로 쓸 수 있는 엔지니어링 솔루션은 아니다. 단기(6~12개월)에는 Agent 프레임워크 선정에 미치는 영향이 제한적이다. 장기(2~3년)적으로 NVIDIA가 툴체인을 갖춰주면 NCCL에 준하는 새 표준, 이른바 KCCL(KV-Cache Communication Library)이 등장할 가능성도 있다.
아직 확인되지 않은 부분: 논문에서 "충실도"의 정확한 정의, 투사층 학습 비용, 모델 계열 간 일반화 능력. 본문과 후속 작업이 나와야 검증된다.
참고 출처: