실전

RTK '토큰 80% 절감' 광고 vs Quesma 실측 2%

벤더는 토큰 80% 절감이라고宣传하지만, Quesma의 독립 벤치마크 결과는 단 2%에 그쳤다. HN에서 64점을 받은 이 논쟁은 AI 도구 비용 구조의 신뢰성 문제를 다시 한번 드러냈다.

글자 크기

RTK란 무엇이고, 왜争议가 되었나

RTK는 Redux Toolkit, React 생태계에서 공식 권장 상태 관리 라이브러리다. 최근 일부 AI 코딩 도구가 프롬프트 전처리 단계에 RTK를 도입했는데, 코드와 상태, 문맥을 RTK 스타일의 '평탄화 + 직렬화' 방식으로 압축한 뒤 LLM에 전달하는 방식이다.

논리는 그럴듯하다. 토큰이 줄면 API 비용도 줄어든다.

벤더의 세일즈 포인트는 보통 '토큰 60%–80% 절감'이며, 보기 좋은 데모 영상까지 첨부한다. 문제는 그런 데모가 모두 정교하게 구성된 프롬프트 위주라는 점이다. 실제 워크플로우가 아니다.

HN에 올라온 해당 글은 64점, 댓글 36개를 기록했으며, 개발자 커뮤니티가 벤더의 자체 비용 공개 수치에 얼마나 민감한지를 잘 보여준다. Quesma의 테스트는 바로 이痛点을 찌른 셈이다.

Quesma는 어떻게 테스트했나

Quesma는 단순히 입으로만 주장한 게 아니다. 테스트 방법론을 온전히 공개했다.

  • 코드 과제: 리팩터링, 버그 위치 특정, 신규 기능 추가 등 실제 코딩 시나리오 5개 선정
  • Baseline: 원본 코드를 Claude(Claude Sonnet 4 사용)에 그대로 전달
  • 실험군: RTK로 압축한 뒤 동일한 모델에 전달
  • 측정 지표: system prompt + user message + tool calls + assistant response를 모두 포함한 end-to-end 총 토큰 소모량

핵심 디테일은 이렇다. 벤더 데모에서 흔히 보이는 '초장기 문맥 + 초간단 질문' 조합을 쓰지 않았고, 개발자日常工作의 코딩 요청을 그대로 모사했다. 오류 메시지, 반복 과정, 중간 피드백이 자연스럽게 포함된다.

결과:

  • 벤더 주장: 60–80% 절감
  • Quesma 실측: 약 2% 절감

수치 차이는 두세 배가 아니라 차원이 다르다.

왜 이렇게 차이가 큰가

테스트 방법론을 직접 읽어본 결과, 가능한 원인 몇 가지를 정리했다.

1. 테스트 시나리오 차이

벤더 데모는 보통 '일회성' 과제다. 10만 줄 코드를 압축한 뒤 질문 하나를 던진다. 반면 실제 워크플로우는 다회차다. 질문 한 번, 답변 한 번, 다시 질문, 다시 답변. RTK 압축의 이점은 다회차 대화에서 희석된다. 매 턴마다 새로운 코드 스니펫이 들어오기 때문이다.

2. System prompt이 계산에서 빠짐

많은 벤더가 user message의 토큰 절감만 집계하고, system prompt와 tool 정의는 빠뜨린다. 그런데 Claude의 system prompt는 수천 토큰에 달하는 경우가 많다. Baseline과 실험군이 동일한 system prompt를 공유한다면, 총 비용에서 system prompt가 차지하는 비중 때문에 '절감률' 숫자가 깎인다.

3. Caching이 고려되지 않음

Claude API에는 prompt caching이 있다. 압축된 내용이 cache hit을 못 맞추면 오히려 비용이 늘 수 있다. cache는 prefix match 기반인데, 압축 알고리즘이 텍스트 구조를 바꾸면 hit rate이 떨어진다. Quesma 테스트에서 caching scenario를 따로 돌렸는지는 확인되지 않았지만, 기업이 실제 도입할 때 반드시 따져봐야 할 변수다.

4. 압축 자체의 오버헤드

RTK 압축에는 추가 연산 단계가 필요하다. 클라이언트에서 돌리면 시간이, 서버에서 돌리면 비용이 든다. 이 항목은 거의 항상 누락된다.

5. '토큰 절감' ≠ '비용 절감'

input 토큰을 진짜로 30% 줄였다 해도, output 토큰(모델 응답)은 그대로일 수 있고, 압축으로 정보가 빠진 탓에 더 길어지기도 한다. 모델이 보충 설명을 추가해야 하니까. Quesma 테스트는 총합을 계산했을 가능성이 높지만, 많은 벤더는 input만 집계한다.

벤더 자체 공개 수치를 어떻게 볼 것인가

새삼스러운 일은 아니다. 지난 2년간 비슷한 마케팅 문구를 너무 많이 봤다.

  • 'GPT-4 대비 10배 빠르다'(특정 벤치마크 한정, 일반 시나리오 아님)
  • '비용 90% 절감'(input 한정, output 제외)
  • '100만 토큰 문맥 지원'(윈도우 사이즈 한정, 유효 정보량 아님)

공통점: 선택적 공개. 가장 유리한 지표, 가장 이상적인 시나리오, 가장 화려한 숫자만 골라낸다.

기업 도입 관점에서의 의미:

  • PPT를 믿지 말 것. 자사 케이스로 직접 돌려볼 것.
  • 실제 코드, 실제 프롬프트, 실제 트래픽 분포를 그대로 사용
  • 최소 1주일은 돌릴 것. 과제 유형을 다양하게 커버
  • 토큰만 보지 말고 총비용 + 모델 성능을 함께 볼 것. 압축 후 모델 오답률이 올라가면 절감한 게 무의미하다

Quesma 같은 독립 벤치마크는 옵션이 아니라 도입流程의 표준 단계가 되어야 한다.

편집자 소견

이번 사건의 핵심은 RTK가 좋고 나쁨이 아니다. 벤더 자체 공개 수치의 신뢰성이 무너지고 있다는 점이다.

과거 SaaS 시대에는 '무료试用 + 영업对接'이라는 도입 패턴이 통했다. AI 도구는 다르다. 비용 구조가 복잡하고(input/output/caching/tool 호출), 효과를 정량화하기 어렵고, 시나리오별 편차가 크다. 벤더는 자신에게 유리한 벤치마크를 만들어 정당하게 웹사이트에 올릴 여지가 충분하다.

내 판단으로는 향후 1년 안에 제3자 벤치마크가 nice-to-have에서 도입 필수로 격상될 것이다. 이유는 다음과 같다.

  1. 대기업 CTO가 몇 번 데인 뒤, '독립 테스트 보고서'를 결제 조건으로 요구하기 시작했다
  2. Quesma처럼 '마케팅 허점'을 전문으로 파는 독립 테스트 기관이 오픈소스 커뮤니티에서 등장할 것
  3. 규제 측의介入 가능성 — EU AI Act의 일부 조항이 이미 이 방향으로 움직이고 있다

이번이 과거와 다른 지점은 이렇다. 예전 벤치마크 분쟁은 학문적인 성격이 강했다(ImageNet 점수 경쟁). 이번 분쟁은 상업적이고, 실제 돈과 직결된다. 개발자 커뮤니티의 반응 속도도 훨씬 빨라졌다. Quesma가 블로그를 올리자 HN에 당일 1면에 올라왔고, 벤더가 모른 척하기 어려워졌다.

확실하지 않은 부분도 있다. Quesma의 방법론 자체가 완벽한가? 예를 들어 사용한 Claude Sonnet 4가 압축된 입력에 대해 편향이 있지는 않은가? 더 많은 독립 팀의 재현이 필요하다. 향후 3개월 안에 2–3곳이 비슷한 결론(5% 이내 절감)에 도달하면 '마케팅 날조'로 사실상定性할 수 있다. 반대로 재현 결과가 크게 갈리면 시나리오 민감도가 예상보다 훨씬 높다는 의미이니, 도입 시 더 신중해야 한다.

참고 링크:

출처: https://quesma.com/blog/does-rtk-make-ai-coding-cheaper/