도구

DeepSeek, DeepInfer 오픈소스 공개… LLM 추론 지배권 쟁奪

DeepSeek가 GitHub에 공개한 DeepInfer는 새로운 모델이 아니라 LLM 추론을 위한 인프라다. 모델 배포·스케줄링·하드웨어 최적화까지 개발자가 직접 다룰 수 있게 하면서 추론 제어권 경쟁이 본격화될|datum.

글자 크기

DeepSeek, DeepInfer 오픈소스 공개… LLM 추론 지배권 쟁奪

⚠️ 초안 — 사실 미검증, 게시 보류

DeepSeek가 GitHub에 DeepInfer라는 이름의 추론 엔진을 공개했다. 저장소는 다음 주소에서 확인할 수 있다.

https://github.com/deepseek-ai/DeepInfer

이는 DeepSeek가 새로 공개한 모델 가중치가 아니다. 추가된 대화형 모델도 아니며, 바로 다운로드할 수 있는 checkpoint 묶음도 아니다.

모델 기업이 추론 스택의 일부를 분리해 개발자가 직접 조합하고 수정하며 배포하도록 넘긴 것에 가깝다.

이 사건에서 중요한 점은 오픈소스 공개 대상이 모델 가중치에서 추론 인프라로 이동했다는 사실이다.

공개된 것은 모델이 아니라 추론 제어권

먼저 DeepInfer의 포지션을 구분할 필요가 있다.

DeepInfer는 추론 인프라 프로젝트이며 DeepSeek가 새롭게 공개한 모델 가중치가 아니다.

모델 가중치는 모델이 무엇을 할 수 있는지를 결정한다. 추론 엔진은 모델을 어떻게 실행할지를 결정한다.

후자는 적어도 다음과 같은 여러 계층의 문제를 다루어야 한다.

  • 요청을 어떻게 대기열에 넣을 것인가
  • batch를 어떻게 나눌 것인가
  • KV cache를 어떻게 관리할 것인가
  • GPU 메모리를 어떻게 활용할 것인가
  • 다중 머신·다중 GPU 간에 어떻게 통신할 것인가
  • 모델 구조를 하드웨어에 어떻게 맞출 것인가
  • throughput과 latency 사이에서 어떻게 균형을 잡을 것인가

모델을 공식 API로만 실행한다면 개발자가 조정할 수 있는 것은 보통 temperature, max_tokens, prompt 정도다.

추론 엔진이 오픈소스가 되면 선택의 범위가 달라진다. 업무 부하에 맞춰 batching 방식을 다시 설계하고, kernel을 교체하고, 메모리 동작을 점검하며, 추론 과정을 자체 서비스에 통합할 수도 있다.

이는 곧바로 모델 능력을 마음대로 바꿀 수 있다는 뜻은 아니다.

하지만 플랫폼이 제시하는 기본 설정을 받아들이는 대신 모델이 머신에서 어떻게 실행될지 직접 결정할 수 있으므로 제어권을 더 넓게 얻는다.

LLM 애플리케이션 입장에서는 namesake 모델을 하나 더 공개하는 것보다 직접적인 변화다.

DeepInfer가 주목받는 이유

추론 계층은 과거 ‘배포 세부 사항’으로 자주 다뤄졌다.

실제로 이 세부 사항은 비용과 사용자 경험에 직접 영향을 준다.

동일한 모델 가중치라도 하드웨어, batch 전략, context length가 다르면 throughput에 큰 차이가 날 수 있다. 실제 서비스에서는 평균 속도만으로 충분하지 않다.

다음 지표를 살펴봐야 한다.

  • first token latency
  • token별 latency
  • 동시 요청 수
  • 피크 GPU 메모리
  • 긴 context에서의 안정성
  • 요청 실패 후 복구 속도

특히 Agent와 RAG 애플리케이션에서는 중요하다. 요청이 한 번의 생성으로 끝나지 않고 도구를 연속 호출하고, 문서를 검색하고, context를 다시 제출하는 경우가 많다. 체인이 길어질수록 추론 계층의 대기열, cache, scheduling이 병목으로 나타날 가능성이 커진다.

공식 API는 편리하지만 폐쇄적이다. 내부에서 요청을 어떻게 배치하는지 알기 어렵고, 자신의 GPU, CPU, 네트워크 환경에 맞춰 최적화하기도 어렵다.

오픈소스 추론 엔진은 개발자가 runtime을 직접 관리할 수 있는 또 다른 선택지를 제공한다.

이는 LLM 추론 역량의 배포·커스터마이징·최적화 방식을 바꿀 수 있다. 모델을 자체 머신에 배치해 고정된 업무 부하에서 batch와 cache 전략을 시험할 수 있으며, API 응답 시간만 확인하는 대신 코드 안에서 scheduling 동작을 관찰할 수 있다.

다만 ‘오픈소스’를 곧바로 ‘더 쉬움’으로 받아들여서는 안 된다.

DeepInfer의 가치가 CLI로 모델을 실행하는 데불러umina면 기존 추론 도구와 큰 차이가 없다. 진짜 판단 기준은 kernel, memory, scheduling, hardware adaptation 같은 까다로운 부분을 개발자가 수정할 수 있는 인터페이스로 정리했는지다.

GitHub와 Hacker News가 보여 준 관심 신호

관련 프로젝트가 Hacker News 메인에 올라가 551점과 댓글 197개를 기록했다.

이 신호는 단순한 GitHub star 수보다 더 의미가 있다.

star는 단순한 북마크일 수 있지만 Hacker News 메인에 오르는 것은 프로젝트가 엔지니어의 논의 범위에 들어섰다는 뜻이다. 551점과 댓글 197개는 최소한 두 가지를 보여 준다.

첫째, 개발자들이 멈춰서 내용을 읽을 만큼 관심이 없었다는 점이다.

둘째, 사람들이 README만 보는 것을 넘어 프로덕션 배포, 하드웨어 생태계, 모델 기업에 미칠 영향을 토론하고 있다는 점이다.

물론 Hacker News의 인기가 프로덕션 도입률을 의미하지는 않는다.

오픈소스 프로젝트의 일반적인 경로는 공개 직후에는 많은 논회가 벌어지지만 실제 사용은 몇 주 또는 몇 달 뒤에 시작되는 것이다. 개발자는 먼저 라이선스, 의존성, issue, benchmark를 확인한 뒤 자체 서비스에 포함할지 결정한다.

따라서 551점과 댓글 197개는 성능 증명이 아니라 확산 신호로 보는 편이 적절하다.

원본 프로젝트 주소는 다음과 같다.

https://github.com/deepseek-ai/DeepInfer

관련 Hacker News 데이터는 프로젝트 공개 직후 페이지 기록에서 수집했다.

LLM 인프라를 관심 있게 찾는 사람이라면 이 정도 정보만으로도 직접 테스트 환경을 구축할 이유는 충분하다.

오픈소스 공개 이후, 난점은 훈련에서 운영으로 이동

핵심 문제는 저장소를 clone 하는 과정이 아니다.

clone이 끝나야 엔지니어링 작업이 실제로 시작된다.

첫 번째 관문은 GPU memory다.

모델을 로드할 수 있다는 사실이 안정적으로 서비스할 수 있다는 의미는 아니다. 단일 GPU, 멀티 GPU, 서로 다른 batch와 context length에서 피크 메모리를 측정해야 한다. 또한 긴 요청이 memory fragmentation을 유발하는지도 확인해야 한다.

두 번째 관문은 throughput이다.

오프라인 benchmark가 좋은 결과라 반드시 온라인 동시 요청에서도 동일한 성능을 내지는 않는다. 두 단계의 병목이 다르기 때문에 prefill과 decode를 분리해 측정해야 한다.

세 번째 관문은 latency다.

평균 latency는 tail latency를 가릴 수 있다. Agent의 경우 도구 호출 체인에서 P95와 P99 latency가 더 중요하다. 한 요청이 200밀리초 느려도 여러 호출에서 계속 누적될 수 있다.

네 번째 관문은 호환성이다.

CUDA 버전, GPU 아키텍처, driver, quantization format, 모델 구현이 모두 결과에 영향을 미칠 수 있다.

다섯 번째 관문은 운영 환경의 안정성이다.

추론 서비스는 timeout, 요청 취소, 잘못된 입력, OOM, 서비스 재시작, 트래픽 급증까지 처리해야 한다. 이러한 항목은 보통 README의 빠른 예제에는 등장하지 않는다.

따라서 DeepInfer를 평가할 때 ‘실행할 수 있는가’를 기준으로 삼아서는 안 된다. 다음 항목을 확인해야 한다.

  • 동일한 요청 집합에서 throughput을 재현할 수 있는가
  • 긴 context에서 OOM이 발생하는가
  • 동시 요청을 늘렸을 때 P99 latency가 어떻게 변하는가
  • scheduling 전략을 수정한 뒤 memory와 throughput이 함께 개선되는가
  • 실패한 요청을 올바르게 취소하고 resource를 해제할 수 있는가

개발자와 기업에서 이 지표들이야말로 추론 인프라의 가치를 결정한다.

오픈소스는 제어권을 부여하는 동시에 엔지니어링 책임도 사용자에게 돌려준다.

편집자의 관점

DeepInfer의 중요성은 DeepSeek의 GitHub 프로젝트가 하나 늘었다는 사실보다, 모델 기업이 추론 진입점을 둘러싸기 시작했다는 데 있다. 과거 모델 기업의 경쟁은 training cost, parameter 규모, 공개 benchmark에 집중됐다. 이제 모델 능력의 격차는 좁아지면서, 요청을 더 잘 서비스하고 메모리를 더低成本으로 사용하며 기업 내부의 추론 스택에 진입할 수 있는 기업이 우위를 차지할 수 있다.

오픈소스 엔진은 경쟁의 초점을 ‘누구의 모델이 더 강한가’에서 ‘누구의 제어 계층이 더 열린 구조인가’로 옮겼다. 모델 API는 여전히 개발자 대부분에게 첫 번째 선택지로 남을 것으로 보인다. 하지만 고동시성, 긴 context, Agent 도구 체인, private deployment이 수정 가능한 runtime에 점점 더 많은 관심을 끌 것이다.

이번 공개가 과거의 weight 중심 오픈소스와 다른 점은 호출, scheduling, 하드웨어 세부 사항을 플랫폼이 계속 보유한 것이 아니라 실행 계층에 더 가까운 인프라가 공개됐다는 데 있다. DeepInfer가 장기적인 생태계를 형성할 수 있는지는 호환성, benchmark, 유지보수 주기, 실제 프로덕션 사례에 달려 있다. 현재로서는 이 정보만으로 결론을 내리기 어렵다.

출처: https://github.com/deepseek-ai/DeepInfer