실전

Spotify가 Portal을 오픈소스로 공개: Claude Code 토큰 사용량 90% 절감

Spotify 엔지니어링팀이 사내에서 사용하던 Claude Code 최적화 미들웨어 Portal을 오픈소스로 공개했다. 토큰 소비량이 90% 감소했다는 실측 결과가 주목받으며, 대기업의 AI 코딩 비용 절감 사례가 화제에 올랐다.

글자 크기

9월 초, Spotify engineering blog에 다소 선정적인 제목의 글이 올라왔다."Portal by Spotify: Cut my Claude Code token usage by 90%".

문구를 잘 봐야 한다. "cut my token usage"지, "we invented a new model"이 아니다. 새 모델도 아니고 새 제품도 아니다. Spotify 내부에서 한동안 써오던 Claude Code 최적화 레이어를 이제서야 오픈소스로 풀어놓은 것이다.

이 글은 빠르게 Hacker News 프론트페이지에 올랐고, 글을 쓰는 시점에 31 포인트, 댓글 7개. 댓글은 두 진영으로 나뉘어 격렬히 싸웠다. 한 쪽은 90%가 마케팅 문구라고 주장했고, 다른 한 쪽은 "그냥 Haiku로 바꾸면 안 되나"라고 묻고 있었다.

양쪽 다 핵심을 짚지 못했다. 이 사건에서 가장 의미 있는 부분은, Spotify가 Cursor나 GitHub와는 다른 길을 택했다는 점이다. 모델을 바꾸는 게 아니라, 입력을 압축하는 것.

Portal이란 무엇인가, 그리고 왜 Spotify가 만들었나

한 줄 정리: Portal은 Claude Code와 에디터 사이에 끼어드는 미들웨어다. Claude Code가 보내는 모든 요청은 먼저 Portal을 거치며, Portal이 컨텍스트를 잘라내고 프롬프트를 압축한 뒤에야 Claude로 들어간다.

해결하려는 문제는 모델이 똑똑하지 않다는 것이 아니라, 토큰이 너무 비싸다는 것이다.

Spotify 내부에서 Claude Code를 돌리는 규모는, 엔지니어 스스로도 "매우 매우 크다"고 인정할 정도다. 한 팀의 AI 코딩 월 청구서가 다섯 자리 달러에 다다르면, 문제는 "모델이 좋은가"가 아니라 "같은 일을 더 적은 토큰으로 어떻게 끝내는가"가 된다.

기존 접근법은 더 싼 모델로 바꾸는 것(Sonnet → Haiku)이거나, prompt cache를 활용하는 것이었다. Spotify의 선택은 더 과감하다. 모델은 그대로 두고, 입력 단에서 손을 댄다.

90%라는 숫자는 어디서 나온 건가

Spotify 공식 블로그는 토큰 절감을 세 가지 기여로 나눠 설명한다.

  1. 컨텍스트 가지치기: 큰 파일은 관련 부분만 보내고, 전체 파일은 보내지 않는다
  2. 프롬프트 압축: 시스템 프롬프트와 반복되는 지시를 중복 제거한다
  3. 도구 호출 최적화: 파일 전체를 다시 보내는 대신 diff 증분만 전송한다

명심할 점은, 이건 모델 업그레이드가 아니라 실측 엔지니어링 결과라는 것이다. Claude 모델도 안 바뀌었고, Claude Code도 안 바뀌었다. 바뀐 건 그 사이의 레이어다.

이 점이 90%를 의심하게 만드는 이유이기도 하다. 누군가 이렇게 물었다. "그냥 관련 없는 파일을 잘라낸 거라면, 90%라는 건 원래 보내지도 말았어야 할 것들을 잔뜩 보내고 있었다는 뜻 아닌가?"

좀 신랄하지만 틀린 말은 아니다. 팀이 원래 컨텍스트 윈도우를 남발하고 있었다면, 어떤 가지치기를 하든 큰 숫자가 나온다.

기술 세부 사항: Portal이 실제로 한 일들

Spotify 엔지니어링팀은 몇 가지 핵심 포인트를 공개했다.

  • 컨텍스트 윈도우 관리: 슬라이딩 윈도우를 유지하며, 최근 N개 대화 턴과 현재 작업과 관련된 파일만 보관한다
  • 파일 관련성 필터링: 현재 편집 중인 파일을 기준으로 다른 어떤 파일이 참조될 가능성이 있는지 추론해, 그것들만 전달한다
  • 전체 재전송을 대체하는 증분 diff: 파일 수정 후에는 새 파일 전체 대신 diff만 보낸다

아래는 README에 있는 최소 사용 예시다.

# 설치
npm install -g @spotify/portal

# Claude Code 설정에서 Portal을 프록시로 지정
portal config --set anthropic_base_url=http://localhost:8080

# Portal 실행
portal serve --port 8080
# Portal 내부의 핵심 가지치기 로직(단순화 버전)
class ContextPruner:
    def __init__(self, max_tokens=50000):
        self.max_tokens = max_tokens

    def prune(self, files: list[File], current_focus: str) -> list[File]:
        # 1. 각 파일과 현재 포커스 사이의 관련성 점수 계산
        scored = [(f, self._relevance(f, current_focus)) for f in files]

        # 2. 점수 기준 정렬 후 토큰 예산에 맞게 그리디하게 채움
        scored.sort(key=lambda x: x[1], reverse=True)

        result = []
        used = 0
        for f, score in scored:
            if used + f.tokens > self.max_tokens:
                continue
            result.append(f)
            used += f.tokens

        return result

솔직히 말하면, 여기까지만 적을 수 있다. 내부의 구체적인 휴리스틱, 임계값, 캐싱 전략은 Spotify가 공개하지 않았으므로 나도 추측하지 않는다. 단, 확인할 수 있는 건 있다. 이건 마법이 아니라 프록시 레이어 한 겹과 컨텍스트 엔지니어링이다.

HN 댓글에서는 무엇을 싸우고 있나

그 7개 댓글 중 세 개를 짚어볼 만하다.

"90% reduction is suspicious. What was your baseline? If you're sending entire repos as context, of course you can cut 90%."
"Why not just use Haiku? It's 1/10 the cost and good enough for most coding tasks."
"This is the real lesson: context engineering > model swapping. Most teams waste tokens before they need a better model."

첫 번째는 베이스라인을 의심하는 것이다(비교가 공정한가). 두 번째는 방향 자체를 묻는다(왜 모델을 안 바꾸나). 세 번째는 Spotify의 핵심 주장에 동의한다.

세 사람은 커뮤니티의 세 가지 입장을 대표한다. 회의파, 실용파, 공감파. HN의 31 포인트를 보면 공감파가 다수라는 뜻인데, 그 중에 Spotify 엔지니어가 직접 투표한 게 얼마나 되는지는 보장할 수 없다.

과거 AI 코딩 비용 절감 사례들과 무엇이 다른가

지난 2년간 AI 코딩 비용 절감이라고 불린 접근법은 크게 세 갈래였다.

  • 저렴한 모델로 교체: Sonnet → Haiku. 모델 능력을 비용으로 맞바꾸는思路
  • 프롬프트 캐시: Cursor, Copilot. 반복되는 내용은 중복 과금하지 않음
  • 모델 증류/파인튜닝: 각 벤더의 자체 소형 모델. 특정 작업은 소형 모델로 처리

Spotify의 길은 네 번째다. 모델도 안 건드리고, 캐시도 특별히 최적화하지 않으며, 입력 단에서 바로 토큰을 때려 부슨다.

Sonnet → Haiku와는 어디서 갈라지나. 모델 능력이다. Haiku는 복잡한 리팩토링, 긴 연쇄 추론에서 아직 Sonnet보다 약하다. Spotify는 분명 이 능력을 포기하고 싶지 않았고, 비용만 줄이고 싶었다.

Cursor의 prompt cache와는 어디서 갈라지나. 입도(granularity)다. Cursor의 cache는 "같은 대화 안에서 반복되는 부분은 중복 과금하지 않는다" 정도이고, Portal은 "이 대화에 애초에 들어올 필요가 없는 부분은 넣지 않는다"이다. 전자는 백엔드 최적화이고, 후자는 입력 단 최적화다.

하루에 수십~수백 회 Claude Code를 돌리는 고빈도 시나리오에서는 Portal 방식의 한계 효용이 더 크다. 캐시에는 상한이 있지만, 입력 가지치기에는 상한이 없다.

편집자 소견

90%라는 숫자는, 대부분의 팀에게는 아마 30~50% 정도밖에 재현하지 못할 것이다.

이유는 단순하다. Spotify는 자기 monorepo, 자기 코드 스타일, 자기 Claude Code 사용 습관 위에서 측정한 결과다. 팀이 바뀌고 프로젝트 유형이 바뀌면 베이스라인도 달라진다. 하지만 그게 핵심은 아니다.

진짜 주목할 부분은, 이 사건이 보여주는 태도의 전환이다. 대기업이 "AI 코딩 비용"을 엔지니어링 문제로 다루기 시작했다.

지난 2년간 AI 코딩 도구 서사는 늘 "생산성 향상"이었다. Copilot이 더 빨리 쓰게 해주고, Cursor가 더 정확하게 해주고, Devin이 자동으로 일하는 데모. 그런데 비용은 아무도 꺼내지 않는 주제였다. 토큰이 무한히 공급된다고 모두가 암묵적으로 가정했다.

Spotify는 이 글에서 드물게 청구서를 펼쳐 보인다. 대기업이 "우리가 얼마 썼는지, 어떻게 아꼈는지, 얼마나 줄였는지"를 공개한 건 이번이 처음이다.

내 판단은 이렇다. 앞으로 6~12개월 안에, 비슷한 도구를 오픈소스로 공개하는 대기업이 더 나올 것이다. 선해서가 아니라, AI 코딩 청구서가 이미 CFO가 물어볼 만큼 커졌기 때문이다. Google, Microsoft, Meta 내부에도 비슷한 것이 분명히 있을 것이고, 아직 공개하지 않았을 뿐이다.

불확실한 부분: Portal은 개인 개발자에게 의미가 크지 않다. 설정 비용, 학습 비용, 소규모 프로젝트에서는 수지가 안 맞는다. 월 Claude Code 청구서가 100달러 미만이라면 Portal을 깔아봤자 손해일 가능성이 높다. 이건 "매일 헤비하게 쓰는" 시나리오를 위해 설계된 도구다.

아직 정리하지 못한 문제 하나가 있다. Portal 같은 미들웨어가, 장기적으로 Anthropic 스스로에게 먹히지는 않을까? Claude Code 2.0에 컨텍스트 가지치기가 내장된다면 Portal의 존재 가치는 어떻게 될까. Anthropic의 제품 릴리스 템포에 따라 Portal은 "과도기적 해법"이 될 수도, "장기적 생태계 지위"가 될 수도 있다.

이 사건의 독특한 점은 명확하다. 모델 뉴스도 아니고, 제품 뉴스도 아니고, 엔지니어링 뉴스다. 모두가 모델과 제품에 매달리는 시점에, Spotify는 가장 섹시하지 않은 각도, 즉 미들웨어 최적화를 골랐다. 하지만 어쩌면 가장容易被 복제할 각도이기도 하다.


참고 링크:

출처: https://engineering.atspotify.com/2026/9/portal-by-spotify-cut-my-claude-code-token-usage-by-90