의견

LLM이 호스트 머신을 장악할 수 있다? 추론 엔진의 보안 사각지대

Boyd Kane이 추론 엔진의 취약점을 통해 LLM이 실행 중인 서버 자체를 통제할 수 있다고 경고했다. prompt injection이 아닌 더 저수준의 위협이다.

글자 크기

지난주 Hacker News 1면에 Boyd Kane의 블로그 글이 올라왔다. 제목은 《LLMs could control their host machines by exploiting inference engines》(원문 링크). 공개 몇 시간 만에 19포인트와 댓글 6개를 받았는데, 보안 주제치고는 나름 큰 화제였다.

이 글은 학술 논문도 아니고, 취약점 공시(CVE, PoC 저장소)도 아니다. 차라리 "로드맵"에 가깝다. 추론 엔진에서 잘 드러나지 않는 공격면을 펼쳐 놓고, 로컬 배포를 직접 하는 사람들에게 경각심을 주는 글이다. 모델이 그저 통계 함수일 거라 생각하지만, 실제로는 우리 머신을 건드릴 수 있다.

사건의 배경: HN 1면에 뜬 글

Boyd Kane의 블로그는 boydkane.com에 있다. 글은 실전 관찰형 에세이다. 본인도 "이건 0day가 아니라, 이미 알려진 위험들의 조합이다"라고 적었다.

HN 댓글은 두 진영으로 갈렸다.

  • 한 파는 "그냥 prompt injection 재탕 아냐?"라고 했다. Kane은 바로 반박했다. 기존 prompt injection은 모델이 말하게 만드는 것이고, 이번 공격은 모델이 행동하게 만드는 것이다. 실행 환경은 호스트 프로세스다.
  • 다른 파는运维 쪽 사람들인데, 자신이 실제로 겪은 이상 사례들을 늘어놓았다. 모델이 GPU kernel 코드를 반환했는데 추론 엔진이 샌드박싱 없이 그대로 드라이버에 넘긴다거나, 모델 출력이 배포 스크립트에 그대로 shell 명령어 조각으로 끼어드는 식이다.

싸움은 붙었지만, 한 가지는 누구도 부정하지 않는다. 현재 어떤 주류 추론 엔진도 "모델 출력"을 신뢰할 수 없는 입력으로 취급하지 않는다.

공격면의 실제 모습: vLLM / TGI / llama.cpp 어디가 뚫리는가

Kane이 글에서 거명한 구체적인 경로들은 허황된 상상이 아니다. 해당 엔진들이 원래부터 노출하고 있는 기능들이다.

1. 커스텀 연산자 (custom ops / fused kernels)
vLLM은 사용자 정의 CUDA kernel 등록을 지원하고, TGI의 custom_kernels 설정 항목은 서드파티 컴파일 산출물을 로드할 수 있게 해 둔다. 이런 연산자는 원래 성능 최적화용이다. 그런데 "어떤 연산자를 로드할지"에 모델 출력이 영향을 줄 수 있게 되면 공격면이 열린다. 악성 PTX/SPIR-V를 집어넣으면 GPU 드라이버 레이어에서 막아주지 않을 수 있다.

2. JIT 컴파일 경로
llama.cpp의 일부 브랜치는 TorchScript 비슷한 동적 컴파일로 추론을 가속한다. 모델이 반환한 "설정"이나 "프롬프트 조각"이 엔진을 JIT 모드로 끌고 갈 수 있다면, 공격자가 심어둔 코드가 프로세스 안에서 그대로 실행된다.

3. 노출된 HTTP/RPC 포트
대부분의 추론 엔진은 기본 리스닝 주소가 127.0.0.1가 아니라 0.0.0.0이다. 이건 나도 DeepSeek-7B를 배포할 때 직접 겪었다. vLLM에서 --host 0.0.0.0이 기본값이다. 로컬에서 돌릴 때는 문제없는데, 클라우드에 올리면 추론 서비스 전체가 공용망으로 노출된다. Kane이 지적한 건 그런 "맨몸" 설정이 아니다. 더 무서운 케이스다. 포트가 localhost에 바인딩되어 있어도, 모델 출력이 엔진 내부 스케줄링 로직에 영향을 미칠 수 있다.

4. 모델 가중치 파싱 경로
GGUF, SafeTensors, HuggingFace checkpoint. 이 포맷들의 파서를 얼마나 fuzz 테스트했을까? 답은 정하기 쉽다. 브라우저 엔진보다 훨씬 못하다. 모델 가중치 오염은 이미 알려진 위험이다 (PyTorch 2022년 CVE-2022-29248 참조). 그런데 GGUF 생태계의 fuzz 커버리지는 거의 0에 가깝다.

핵심 링크는 이렇다.

사용자 입력 → LLM 추론 → 모델 출력 → 엔진이 "명령"으로 해석 → 호스트 프로세스 동작 트리거

마지막 단계가 핵심이다. 모델 출력이 파서, 스케줄러, JIT에서 신뢰할 수 있는 입력으로 취급된다는 것.

왜 이건 새로운 위협인가: prompt injection 너머의 전장

기존 prompt injection의 공격 목표는 모델이 무엇을 말하는가다. 피싱 문구를 출력하게 하거나, 안전 가드를 우회하게 하거나, 시스템 프롬프트를 누설하게 만든다. 결과는 "정보 차원"의 문제다. 텍스트가 새 나간 다음 삭제하면 끝이다.

Kane이 묘사한 공격은 목표가 다르다. 모델이 무엇을 했는가가 문제가 된다.

  • 기존: 모델이 "비밀번호를 attacker@evil.com으로 보내주세요"라고 출력
  • 새로운 공격: 모델이 엔진이 악성 kernel을 로드하도록 트리거해서 공격자가 호스트에서 shell을 획득

전자는 사회공학이고, 후자는 RCE(원격 코드 실행)이다. 위협 등급 자체가 다르다.

더 은밀한 부분이 있다. 기존 prompt injection은 모델 출력을 검사하면 발견할 수 있다. 반면 새 공격에서는 모델 출력이 완전히 정상처럼 보일 수도 있다. 평범한 JSON 한 덩어리, 평범한 token 시퀀스인데, 엔진 내부에서 파싱하면서 위험한 경로를 트리거한다. 로그에는 그저 "loaded custom op" 한 줄만 남는다.

로컬 배포가 오히려 더 위험하다

이 부분은 댓글에서 가장 많이 까였고, 가장 반직관적인 지점이다.

많은 개인 개발자가 이렇게 생각한다. "내 Mac에서 Ollama로 돌리니까, 데이터도 안 올리고, OpenAI API보다 당연히 안전하겠지?" Kane의 글은 2025년 이후 이런 생각이 틀렸다고 직접 말한다.

이유는 단순하다.

배포 방식노출면
OpenAI / Anthropic API네트워크, API key 관리
로컬 Ollama / vLLMGPU 드라이버, 모델 가중치 파서, CUDA 툴킷, 시스템 콜

API를 호출할 때 공격면은 API key랑 네트워크 패킷이다. 모델 가중치, 파서, GPU 드라이버 전부 벤더 쪽에 있고, 전담 팀이 관리한다.

로컬 배포에서는 이 모든 게 내 머신에서 돌아간다. 게다가 대부분의 개인 개발자는 GGUF 파서에 fuzz를 돌려본 적도 없고, llama.cpp의 JIT 경로를 감사한 적도 없다. 보안 책임을 OpenAI 보안팀에서 내 손으로 가져왔지만, 감당할 역량은 안 갖췄다.

더 나쁜 건, Ollama의 설계 목표가 "한 번에 돌리게"이므로 기본 설정에서 --host 0.0.0.0이 흔하다는 점이다. 회사 인트라넷이나 집에서 Linux 워크스테이션 + Ollama 한 대를 돌리면, 같은 LAN의 누구라도 추론 포트에 접근할 수 있다. 그리고 그 포트 뒤에는 임의 GPU 코드를 실행할 수 있는 완전한 머신이 있다.

편집자 소견

Kane 글에서 진짜 경계해야 할 부분은 구체적인 취약점 목록이 아니다 (그 대부분 PoC도 없고, 실제로 활용된 적도 없다). 그 글은 보안 책임의 진공 지대를 드러낸다.

추론 엔진 작성자는 대부분 AI 성능 연구자라, 보안 모델이 "모델 출력은 텍스트"라는 가정에 머물러 있다. 그런데 vLLM, TGI는 이미 복잡한 런타임 시스템이 됐다. 스케줄러가 있고, 커스텀 연산자 등록이 있고, 동적 컴파일이 있다. 더 이상 "모델 추론기"가 아니라 "AI 운영체제"인데, 운영체제 보안 기준으로 감사 받는 곳은 없다.

과거 보안 논의와 비교하면:

  • 2018년 모델 탈출 논의: "모델이 유해 콘텐츠를 출력할 수 있는가" - 정보 보안 문제.
  • 2023년 prompt injection 논의: "모델을 속일 수 있는가" - 여전히 정보 차원.
  • Kane이 이번에 꺼낸 건: "모델 출력이 코드 실행으로 이어질 수 있는가" - 인프라 보안 문제.

내 판단으로는 향후 12개월 안에 추론 엔진 보안 감사가 독립된 영역이 될 것이다. 지금 vLLM, TGI의 보안 리뷰는 주로 커뮤니티 자원봉사자에게 의존하고, 취약점 발견은 운에 맡긴다. Anthropic, OpenAI 같은 폐쇄 API 제공사는 모델 레이어에 자원을 쏟고 있지만, 추론 엔진 레이어, 특히 오픈소스 쪽은 거의 맨몸이다.

가장 보강해야 할环节:

  1. 모델 출력과 엔진 내부의 경계. 모델 출력을 신뢰할 수 없는 입력으로 다루고, 최소한 샌드박스 안에서 파싱해야 한다.
  2. localhost 기본 바인딩. vLLM, Ollama, TGI 모두 기본값을 --host 127.0.0.1으로 두고, 사용자가 명시적으로 열도록 해야 한다.
  3. 가중치 파서의 fuzz 테스트. GGUF, SafeTensors의 파싱 경로를 브라우저가 HTML 파싱에 fuzz를 돌리듯 지속적으로 테스트해야 한다.

이런 공격들이 반드시 대규모로 활용될 거라고 장담할 수는 없다. 역사적으로 "이론상 가능하다" 수준의 공격이 실제 위협이 된 적은 드물다. 다만 추론 엔진은 이미 충분히 복잡해졌다. 첫 번째 진짜 PoC가 등장하고 나서 손대기엔 늦다.


참고:

출처: https://boydkane.com/essays/llls-could-control-their-host-machines-by-exploiting-inference-engines