어제 experientiallabs/experiential이 Hacker News에 올라온 걸 봤다. 제목은 "open OpenRouter". 첫 반응은 또 하나의 OpenRouter 오픈소스 클론이겠지, 5% 수수료 아끼는 거 외에 뭐가 다르지?였다.
README를 읽어보니 진짜 흥미로운 건 지연 시간 숫자가 아니라, 이 프로젝트가 자기 자신을 스스로 유지보수한다는 점이었다. Codex Agent가 매일 provider API를 긁고, 새 모델을 확인하고, 모델 카탈로그를 업데이트하는 PR을 자동으로 올린다. 개발자는 review만 하면 되고, 1000개 넘게 쌓이는 모델 메타데이터를 손으로 관리할 필요가 없다.
이게 latency 절약보다 훨씬 의미 있는 얘기다.
그냥 또 다른 OpenRouter 대체제는 아니다
OpenRouter가 "모델 찾기, key 관리, 결제"를 해결한다면, Experiential은 같은 일을 하면서 agent 하나를 추가로 끼워 넣었다. 저장소의 관리자로 써먹겠다는 거다.
이 뉘앙스를 놓치는 사람이 많다. "BYOK <1ms" 같은 성능 숫자만 보면 LiteLLM, Portkey, OpenRouter와 같은 종류의 성능 경쟁처럼 보인다. 그런데 프로젝트 측이 HN 원글에서 계속 반복한 건 latency가 아니라 "self-updating model registry"였다.
HN에서 "이거 그냥 다른 LiteLLM 아냐?"라는 질문이 나왔고, 프로젝트 측은 이런 뉘앙스로 답했다: LiteLLM은 모델 목록을 직접 추가해야 하지만, 우리는 agent가 자동으로 추가하고, 매일 한 번 돌고, 매번 PR을 연다고.
그게 차이다. 성능 숫자는 그저 입장 티켓이고, 차별점은 "infra가 자기 자신을 바꾼다"는 사실이다.
지연 시간 숫자는 어떻게 뽑았나
BYOK 요청의 추가 오버헤드 <1ms, 공식 key 경로는 <2ms다. 프로젝트 측이 HN 원글에서 직접 밝힌 수치이며, README에도 적혀 있다.
어떻게 가능한가? 두 가지 핵심이 있다.
- Rust 네이티브. Python wrapper를 쓰지 않았다. Python은 ASGI/WSGI 레이어를 거치기만 해도 프로세스 내 직렬화와 비동기 스케줄링만으로 5-20ms가 잡힌다. Rust는 tokio + hyper로 곧장 매칭하는 구조라, 요청이 들어오면 라우트 매칭과 헤더 전달 정도만 일어난다.
- 요청 본문을 거의 파싱하지 않는다. 게이트웨이는 인증, 모델 이름, 대상 endpoint만 확인하고 곧바로 provider에 넘긴다. 재시도 로직, prompt 가공, 캐시 같은 것은 전부 상류에 맡긴다.
비교하자면 LiteLLM/Portkey 같은 게이트웨이는 보통 스트리밍 포맷 정규화, 토큰 카운팅, backoff 기반 재시도를 끼워 넣기 때문에 5-50ms가 추가로 붙는다. Experiential은 이런 레이어를 전부 하류로 밀어냈기에 <1ms까지 깎을 수 있었다. 대가도 있다. fallback 정책 같은 미들웨어 로직이 필요하면 직접 구현해야 한다.
공식 key 경로가 <2ms인 이유는 상류 인증과 SSL 핸드셰이크를 거쳐야 하기 때문이고, BYOK이 <1ms인 이유는 key가 자기 손에 있어서 TLS 세션을 재활용할 수 있기 때문이다.
Codex Agent가 매일 PR을 올리는 것의 파괴력
이 프로젝트에서 제일 인상적인 부분이다.
저장소에 workflow가 하나 있다 (정확한 경로는 .github/workflows/sync-models.yml인 것으로 보인다). 동작 흐름은 이렇다.
- Codex Agent가 일정 트리거로 실행됨 (매일 UTC 0시)
- OpenAI, Anthropic, Google, DeepSeek, Cohere, xAI, Mistral 그리고 여러 자체 호스팅 백엔드까지 모든 provider의
/v1/models(또는 동등한) 엔드포인트 스캔 - 현재 저장소의
models.json(혹은 비슷한 인덱스 파일)과 비교 - 새 모델 /下线 모델 / 가격 변동 감지 시 diff 생성 후 PR 오픈
- PR 안에 changelog, provider 출처 링크, 새 모델의 context window, 가격 등 메타데이터가 포함됨
관리자는 review만 하면 된다. 매일 손으로 추가하지 않아도 된다.
이 agent를 프로덕션에서 일주일 돌리면 어떻게 될지 가만히 상상해 봤다.
- 1일차: 1000+ 모델 동기화, 대부분 기존 데이터 refresh
- 3일차: 특정 provider의 새 모델을 감지해 PR 오픈
- 5일차: 특정 모델이 deprecate되어 PR에 자동 표시
- 7일차: GitHub Actions가 7회 정도 실행되어 PR이 0개에서 10-20개로 증가
이게 self-improving infra의 시초다. 인프라는 더 이상 "작성하고 나면 손대지 않는" 코드가 아니라, 상류 변화에 맞춰 자라난다.
비슷한 프로젝트는 이전에 본 적이 없다. 생태계에는 의존성 자동 업데이트(Dependabot 같은) 정도가 있는데, 모델 레지스트리 자동 업데이트는 처음이다. 모델 카탈로그 폭발이라는 통증은 매우 구체적이다. Anthropic은 1년에 4개, OpenAI도 비슷하고, Google은 더 가파르며, 오픈소스 Qwen, DeepSeek, Llama까지 매일 새 가중치가 나오니 손으로 따라가다간 한계가 명확하다.
실제 호환성 문제를 어디까지 풀었나
"메인 게이트웨이"로 안 쓰더라도, 해결한 호환성 목록만 봐도 README 정주행할 가치는 있다. 다섯 가지 큰 분류.
1. 스트리밍 포맷 차이
OpenAI는 SSE를 쓰고 event type은 chat.completion.chunk, delta 필드는 {role, content}다. Anthropic은 다른 SSE 포맷을 쓰며, event type은 message_start / content_block_delta / message_stop, delta 중첩이 더 깊다. Google Gemini는 또 다른 체계다.
Experiential은 게이트웨이 레이어에서 정규화한다. OpenAI 포맷으로 요청하면 Anthropic 포맷으로 변환해 보내고, 돌아오는 Anthropic 이벤트를 다시 OpenAI delta로 돌려준다. 하류 코드는 상류가 누구든 신경 쓰지 않아도 된다.
2. 도구 호출 JSON schema 불일치
OpenAI의 tool calls는 {tool_calls: [{id, type, function: {name, arguments}}]}를 반환하고, Anthropic은 {content: [{type: "tool_use", id, name, input}]}다. arguments 필드가 OpenAI는 string이라 json.loads가 필요한 반면, Anthropic은 object라 그대로 쓸 수 있다.
schema가 다르면 코드를 두 갈래로 써야 하는데, Experiential은 게이트웨이 레이어에서 평탄화한다.
3. 모델 파라미터 매핑
max_tokens, temperature, top_p 정도는 이름이 비슷하지만, stop 시퀀스, frequency_penalty, presence_penalty는 지원 범위가 vendor마다 다르다. 여기에 Anthropic의 thinking 파라미터, OpenAI의 reasoning_effort 같은 것도 나중에 추가됐다.
4. 속도 제한의 모양이 제각각
HTTP 429는 표준이지만, Anthropic이 돌려주는 헤더는 anthropic-ratelimit-requests-remaining, OpenAI는 x-ratelimit-remaining-requests다. retry-after의 의미도 다르다. Experiential은 이걸 통일된 에러 구조로 정규화한다.
5. 에러 처리
각 provider는 자기만의 error code (context_length_exceeded, invalid_request_error, RESOURCE_EXHAUSTED)를 갖고 있고, Experiential은 이를 OpenAI 호환 에러 객체로 번역한다. 하류에서 catch 로직을 한 번만 작성하면 된다.
직접 wrapper를 만들어 본 팀의 90%가 이 함정에 빠진다. Experiential은 이걸 한 곳에서 처리하기 때문에 절약되는 코드량이 상당하다.
써볼 만한가
판단 트리를 하나 그려보겠다.
- 이미 OpenRouter/LiteLLM을 쓰고 있고, 명확한 통증이 없다면 → 계속 쓰고 상황을 지켜보자. Experiential 생태계는 아직 새롭고, 문서, 모니터링, dashboard가 다 따라가는 중이다.
- vLLM (혹은 TGI, SGLang)을 자체 호스팅하면서 동시에 Claude/GPT/Gemini도 호출해야 한다면 → 이전 효과가 크다. 통합 인증, 통합 로깅, 통합 결제 부분을 Experiential이 직접 wrapper 짜는 것보다 깔끔하게 설계했다.
- 모델 카탈로그 폭발이 이미 고통스럽다면 (예: 새 모델을 며칠 늦게 발견하는 상황) → 바로 시도. 이 use case는 first-of-kind이고 대체제가 없다.
소스는 github.com/experientiallabs/experiential에 있고, README 절차대로 따라가면 된다. 프로덕션 배포를 고려한다면 dev mode로 한 번 구동해 보고 Rust 빌드 시간을 확인하자 (프로젝트 크기가 작지 않아 cold build가 5-10분 걸릴 수 있다).
편집자 노트
self-maintaining 인프라는 새 패러다임이 될까? "되지만, 경계가 있다" 쪽에 한 표를 던진다.
코드가 코드를 자동으로 고치는 일은 지난 몇 년간 의존성 관리(Dependabot), 보안 패치(Snyk auto-fix), 문서 생성(여러 프로젝트가 LLM에 changelog 자동 작성) 등으로 어느 정도 자리 잡았다. 모델 카탈로그는 이보다 까다롭다. provider를 가로지르고, 변경 빈도가 매우 높고, 메타데이터 차원이 다양하다. Experiential은 이 메커니즘을 처음 이식했다. 기록할 만하다.
다만 해결하는 문제가 매우 구체적이라는 점은 짚어야 한다. "모델 카탈로그 폭발". 모든 infra가 self-maintaining에 적합하지는 않다. 상태 머신, 분산 프로토콜, 암호학적 원시자는 agent가 스스로 고치게 두면 위험이 너무 크다. 즉 "agent가 infra를 유지하는" 패러다임은 확산되지만, 변경 빈도가 높고 실패 비용이 낮은 하위 영역으로만 퍼질 것이다.
불확실한 지점.
- PR 워크플로가 장기적으로 안정적으로 돌아갈지. Codex가 어느 날 존재하지도 않는 모델을 hallucinate해 버리면? "agent가 연 PR은 maintainer approve가 있어야 merge"라는 안전망이 필요할까? 프로젝트 측의 현재 설계를 아직 완전히 파악하지 못했다.
- 대기업 공식 게이트웨이가 빠르게 따라올지. OpenAI가 한때 프록시 개념(제품은 아님)을 내놓은 적이 있고, Anthropic은 내놓지 않았지만 Cloudflare Workers AI가 비슷한 일을 하고 있다. Cloudflare가 이 패턴을 그대로 가져가면 Experiential의 선점 우위는 좁아진다.
- 진짜 killer use case는 게이트웨이가 아닐 수도 있다. "agent가 모델 카탈로그를 자동으로 유지"하는 패턴이 자리 잡으면, 다음 적용 지점은 prompt 라이브러리, eval suite, RAG 인덱스 자동 유지일 수 있다. Experiential이 게이트웨이에만 머물러 있으면 천장이 낮고, "agent가 ML infra를 유지하는" 범용 프레임워크로 나가면 더 흥미로워진다.
그래서 따로 뽑아 쓴 거다. 지연 시간 숫자 때문이 아니라, 다음 AI infra 패러다임의 시초일 수 있어서다.