ThinkingCap은 Gemma-4-26B-A4B의 사고량을 39~69% 줄이면서 정확도는 그대로 유지했다. 하지만 benchmark의 비용 감소가 운영 환경의 청구액 감소로 이어진다는 보장은 없다. 이 글에서는 Agent 환경에서 추론 압축이 비용에 미치는 영향을 분석한다.
추론 압축은 얼추 명확해 보일 수 있다. 모델이 생성하는 사고 token을 줄이면서도 정확도를 떨어뜨리지 않는 것이다.
ThinkingCap은 Gemma-4-26B-A4B를 기반으로 사고량을 39~69% 줄이고도 정확도가 유지되는 결과를 보고했다. 모델을 교체하거나 더 짧은 답으로 사용자를 속이도록 요구한 것은 아니다. 변화가 일어난 곳은 추론 단계다.
일반적인 챗봇이라면 생성 시간을 조금 절약하는 수준일 수 있다. AI Agent에는 의미가 더 크다. Agent는 여러 차례의 의사 결정, 도구 호출, 결과 반영을 거치는 경우가 많다. 각 단계에서 추가된 사고 token은 호출 횟수만큼 누적되어 지연 시간과 청구액에 영향을 준다.
다만 69%는 실험 환경에서 얻은 수치이며, 운영 환경에 그대로 적용할 수 있는 할인율인 것은 아니다.
먼저 실험 결과부터: 모델 교체가 아니다
실험에 사용된 모델은 Gemma-4-26B-A4B다. 전체 파라미터 수는 26B이며 활성화 파라미터는 A4B다. A4B는 매 추론 시 약 4B의 파라미터만 실제 활성화된다는 뜻으로, 26B 전체를 전개해 계산하는 방식과 다르다.
ThinkingCap의 핵심 결과는 사고량이 39~69% 감소했고 정확도는 변하지 않았다는 것이다.
이 세 수치는 함께 봐야 한다.
만약 정확도가 10% 떨어지는 대신 추론량을 40% 줄였다면 보통 성공으로 보기 어렵다. Agent의 작업 분포는 고르지 않아 소수의 잘못된 의사 결정만으로도 잘못된 도구 호출, 중복 작업, 심지어 전체流程의 실패로 이어질 수 있다. ThinkingCap은 다른 접근법을 시도한다. 현재 문제에 필요한 추론 예산을 판단한 뒤 동적으로 배정하는 방식이다.
Gemma-4-26B-A4B를 더 작은 모델로 교체한 것은 아니다. 모델, 작업, 정확도 기준선은 그대로 두고 중간 사고 과정만 압축했다.
원래 실험은 bottlecapai.com에 공개됐다. Gemma-4-26B-A4B with 39-69% less thinking at same accuracy.
관련 링크는 bottleyai.com에 게시됐다. Hacker News 페이지에는 현재 69점과 8개의 댓글이 표시된다.
논의 규모가 크지 않기 때문에 39~69%는 재현이 필요한 기술 신호로 보는 것이 적절하다. 널리 검증된 산업 결론으로 단정하기는 이르다. 특히 어떤 추론 예산 제어기를 사용했는지, reasoning token과 사고 텍스트 전체 중 무엇을 압축했는지, 어떤 작업에서 정확도를 집계했는지는 계속 살펴봐야 한다.
‘더 적게 생각하기’가 ‘더 적게 생각하기’보다 가치가 있을 수 있는 이유
사고량을 줄이는 방법은 보통 두 가지다.
첫째는 사고 단계의 수를 줄이는 것이다. Agent가 먼저 답을 제시한 뒤 계속 추론할지 판단하게 할 수 있다. 저렴하지만 첫 판단이 틀리면 이후 체인 전체가 흐러질 수 있다.
두 번째는 각 사고 과정을 짧게 만드는 것이다. 추론은 더 간결해지지만 복잡한 작업에서는 정보 부족으로 오류가 날 수 있다.
동적 추론은 이처럼 둘 중 하나를 고르는 방식에서 벗어나려 한다. 간단한 문제에는 적게 생각하고 복잡한 문제에는 더 많이 생각한다.
Agent에는 특히 중요하다. 대표적인 흐름은 다음과 같다.
사용자 요청
→ 컨텍스트 읽기
→ 도구 선택
→ API 호출
→ 반환 결과 파싱
→ 완료 여부 판단
→ 필요하면 재시도 또는 수정
단일 단계에서 추론량이 10% 줄어든다고 해서 6단계 도구 체인에서도 단순히 10%가 되는 것은 아니다. 첫 token 지연, 각 도구 호출 전 의사 결정 시간, 전체 체인의 timeout 확률에 영향을 줄 수 있다.
더 문제가 되는 것은 실패가 대개 무료가 아니라는 점이다. 모델이 잘못 판단하면 Agent가 몇 단계를 더 거칠 수 있다. 도구 매개변수를 다시 해석하고, 다시 호출하고, 결과를 기다린다. 운영 청구액에서 가장 비싼 것은 보통 ‘정상 경로’가 아니라 이런 추가 회차다.
따라서 추론 압축의 진짜 이득은 단순한 token 감소가 아니라 의미 없는 사고와 우회 경로 감소일 수 있다.
다만 별도로 측정해야 한다. 평균 사고량이 줄었다고 해서 평균 완료 시간이 자동으로 줄거나 오류 복구 횟수가 감소하는 것은 아니다.
Agent 환경에서 비용 계산하는 방법
최소한 다음 네 항목으로 나누는 편이 좋다.
1. Token 비용
Token은 계산하기 가장 쉬운 항목이지만 입력, 출력, 캐시 적중의 세 종류를 구분해야 한다.
추론량 감소는 주로 모델이 생성한 사고 token에 작용한다. 도구가 긴 문서를 반환하면 Agent는 그 결과를 다시 컨텍스트에 넣는다. 입력 token은 줄어들지 않을 수 있으며, 한 단계 더 돌아갔기 때문에 오히려 늘어날 수도 있다.
운영 청구 비용은 다음과 같이만 적으면 안 된다.
원래 비용 = 총 token × 단가
최소한 다음처럼 구성해야 한다.
작업 하나당 비용 =
각 회차 입력 token × 입력 단가
+ 각 회차 출력 token(사고 포함) × 출력 단가
+ 도구 호출 비용
+ 재시도 및 샌드박스 비용
2. 호출 회차
회차에 따라 작업이 실제로 저렴해지는지가 결정된다.
ThinkingCap이 사고 token을 50% 덜 생성하지만 어떤 benchmark 작업에서 평균 도구 호출이 한 번 늘었다면, 그 추가 호출이 앞선 절감분을 먹을 수 있다. API rate limit, 재시도, 상태 동기화 비용까지 늘어날 수도 있다.
따라서 평가는 ‘각 response의 token 수가 줄었다’는 데서 멈추면 안 된다. 작업 시작부터 검수 통과까지의 전체 경로를 집계해야 한다.
3. 컨텍스트 재생
많은 Agent 프레임워크는 이전 회차, 도구 출력, 시스템 프롬프트를 다시 전송한다. 추론이 짧아지면 컨텍스트 증가 속도가 느려질 수는 있지만, 한 단계라도 더 돌아가면 재생 비용이 다시 발생한다.
시스템이 prompt cache를 사용한다면 계산 방식도 달라진다. 캐시 적중이 저렴하더라도 대기 시간은 사라지지 않는다. 캐시가 만료된 뒤 다시 계산하는 비용이 더 짧은 컨텍스트보다 유리하지도 않다.
4. Timeout과 신뢰성
지연 시간은 대체로 사용자 경험과 더 가깝다. 도구 체인의 사고 시간은 순차적으로 누적되기 때문에 최종 출력이 일찍 완성되더라도 호출자가 설정한 timeout을 넘을 수 있다.
timeout이 발생하면 Agent는 재시도를trigger할 수 있다. timeout 이후의 재시도 비용은 정상 실행 한 번보다 비싼 경우가 많다. 더 중요한 점은 timeout이 평균값에만 영향을 주는지다. 긴 꼬리 작업이 더 불안정해지지 않았는지도 확인해야 한다.
평균값만 보지 말고 p50, p95, p99 지연 시간을 함께 살펴야 한다. 완료율, 재시도율, 도구 호출 횟수도 기록해야 한다.
신뢰할 수 있는 운영 검증 방식은 동일한 작업 집합을 고정하고 전체 경로를 비교하는 것이다.
| 지표 | ThinkingCap | 기준선 |
|---|---|---|
| 정확도 | 기준선보다 낮지 않음 | 기준선 |
| 총 입력 token | 실측 | 실측 |
| 총 출력 및 사고 token | 실측 | 실측 |
| 평균 도구 호출 수 | 실측 | 실측 |
| p50 / p95 완료 시간 | 실측 | 실측 |
| 재시도율 및 timeout율 | 실측 | 실측 |
| 성공한 작업 하나당 총비용 | 실측 | 실측 |
마지막 항목이 ‘token당 가격’보다 더 중요하다. Agent는 성공적으로 완료된 작업을 기준으로 비용을 계산해야 한다.
이 방식의 한계: 정확률 이외의 요소
평균 정확도가 유지된다는 것은 실험 집합 전체에서 뚜렷한 성능 저하가 없었다는 의미일 뿐이다. 작업별, 난이도별, 위험 등급별 평가를 대신할 수는 없다.
복잡한 추론
수학 증명, 코드 수정, 여러 제약을 고려한 planning에는 더 긴 추론 체인이 필요하다. 예산 제어기가 지나치게 압축하면 ‘아직 정리되지 않은 상태’가 ‘자신 있게 틀린 답’으로 바뀔 수 있다.
간단한 작업과 어려운 작업을 따로 비교해야 한다. 간단한 질의응답에서 얻은 token 감소율이 복잡한 작업의 성공률 감소를 가려서는 안 된다.
긴 작업
짧은 작업에서 사고량이 69% 줄었다면 큰 이득일 수 있다. 하지만 수십 분 동안 dozens of rounds의 도구 호출을 수행하는 Agent에서는 각 국소적인 절감분이 작다. 실제 비용을 결정하는 것은 전체 작업 경로가 짧아지는지다.
실패 복구
가장 가치 있는 Agent는 한 번도 실패하지 않는 Agent가 아니라 실패한 뒤 복구할 수 있는 Agent다.
ThinkingCap이 모델의 오류 로그 성찰 과정을 압축한다면 Agent가 같은 오류를 더 빠르게 반복할 수 있다. 테스트에서는 최종 성공률뿐 아니라 다음 항목도 확인해야 한다.
- 같은 오류가 반복되는지
- 재시도가 수렴하는지
- 대체 도구를 선택하는지
- 핵심적인 모호성을 사용자에게 먼저 확인하는지
도구 호출 안전성
덜 생각하는 것이 항상 좋은 것은 아니다. 데이터 삭제, 결제, 메시지 전송, 운영 설정 변경처럼 영향이 큰 작업에서는 검증을 한 번 더 수행하는 것이 token 몇 개보다 가치 있을 수 있다.
도구를 저위험과 고위험으로 나눌 수 있다. 검색과 조회처럼 저위험한 작업에는積極적으로 압축을 적용하고, 쓰기, 결제, 삭제 같은 고위험 작업에는 더 긴 사고 시간이나 별도의 검증기를 적용한다. 모든 동작에 동일한 예산을 적용해서는 안 된다.
또한 압축된 reasoning token이 줄어들면 모델이 완전한 중간 경로를 생성하는 능력에도 영향을 줄 수 있다. 로그의 explainability와 사후 감사 가능성은 별도로 점검해야 한다. 최종 답이 변하지 않았다는 이유로 과정의 품질을 무시할 수는 없다.
편집자 관점
ThinkingCap이 주목할 만한 이유는 69%라는 숫자뿐 아니라, 문제를 ‘모델을 더 똑똑하게 만들 수 있는가’에서 ‘시스템이 작업 난이도에 따라 추론 자원을 배분할 수 있는가’로 옮겼기 때문이다. 이는 온라인 scheduling에 가깝다. 간단한 요청은 빠르게 반환하고, 복잡한 요청에는 예산을 추가하며, 실패 위험이 높은 동작은 검증 분기로 보낸다.
과거의 quantization 모델과는 다르다. quantization은 보통 배포 전에 더 적은 메모리와 계산 비용을 얻는 방식으로, 이득은 안정적이지만 능력의 경계도 대체로 고정돼 있다. 컨텍스트를 줄이는 방법은 주로 입력 비용을 낮춘다. 동적 사고 예산은 runtime 의사 결정을 다루기 때문에 이론상 더 유연하면서도 평가하기는 더 어렵다.
제 판단에는 추론 압축이 점차 Agent infrastructure의 일부가 될 것이지만, 하나의 범용 비율만으로 승부할 수는 없다.,真正한 가치를 지닌 제어기는 평균 token 감소율만 따지기 아니라 도구 위험, 작업의 남은 시간, 실패 확률을 기준으로 동적으로 조정해야 한다.
현재 ThinkingCap의 이득이 여러 모델과 작업을 넘어 유지되는지는 아직 확실하지 않다. 69점과 8개의 댓글은 이 기술이 여전히 초기 검증 단계에 있다는 뜻이기도 하다. 운영 청구액이 함께 줄지 않거나 p95 지연 시간과 복구 능력이 나빠진다면 ‘덜 생각하기’는 token을 조금 적게 쓴 것에 불과할 뿐, 더 저렴한 Agent라고 할 수 없다.