도입
SAM 3의 기본 tracker는 약 8fps에 동작하며, 장시간 영상을 처리하면 GPU 메모리를 모두 소모할 수도 있다. 오픈소스 프로젝트 tamserve는 저빈도 검출과 경량 추적을 결합해 단일 RTX 4090에서 처리 속도를 4배 높였다. 이 글에서는 멀티비디오 스트림을 처리하는 방식과 실제 운영에 적용할 수 있는 범위를 살펴본다.
저장소 데모의 핵심 기능
멀티카메라 영상 추적에서 흔한 오류가 있다. 목표물 인식뿐 아니라 움직임 추적까지 모두 대형 모델에 맡기면 GPU 메모리 사용량이 늘고 실시간 스트림은 점점 느려진다.
오픈소스 프로젝트 tamserve는 다른 방식을 택했다. SAM 3은 목표물을 찾고, EdgeTAM은 프레임 간 위치를 추적한다. 각 모델이 서로 다른 역할을 맡는다.
프로젝트가 제공한 테스트에 따르면 단일 RTX 4090에서 지정 목표물을 처리하는 속도는 Meta SAM 3 tracker보다 4배 빠르면서도 정확도 92%를 유지했다.
데모는 여러 카메라의 실시간 영상을 대상으로 진행된다. 먼저 사용자가 다음과 같이 입력한다.
forklift
시스템은 곧바로 두 대의 포크리프트를 찾아 추적하기 시작한다. 화면 속 목표물에는 계속 표시가 유지되며 추적 과정도 끊기지 않는다.
이어서 다음과 같이 입력한다.
person
시스템은 사람을 목표물 목록에 추가하고 기존 작업을 이어 간다. 사용자가 작업을 중단하거나 영상 전체를 다시 처리할 필요는 없다.
여기에는 주목할 만한 두 가지 설계가 있다.
- 새 목표물을 텍스트로 입력해 이미 실행 중인 추적 작업에 추가할 수 있다.
- 여러 카메라가 각각 모델을 따로 로드하지 않고 동일한 모델 인스턴스를 공유한다.
따라서 tamserve는 사전 녹화 영상에 프레임을 표시하는 오프라인 도구라기보다, 목표물 목록을 실시간으로 수정할 수 있는 영상 Agent에 가깝다.
SAM 3을 직접 사용하지 않는 이유
Meta SAM 3에는 tracker가 내장되어 있지만, 기본 tracker는 한 번에 하나의 녹화 영상만 처리하며 속도는 약 8fps다. 장시간 영상은 쉽게 메모리를 소진하며, 특히 GPU 메모리 부담이 커진다.
실시간 카메라 환경에서는 이 방식에 두 가지 문제가 더 있다.
첫째, 8fps는 안정적인 실시간 처리 성능을 의미하지 않는다. 목표물이 빠르게 움직이거나 가려지거나 화면 밖으로 나가면 낮은 프레임 속도가 응답 지연을 늘린다.
둘째, 영상이 길어질수록 SAM 3의 메모리 사용량을 관리하기 어려워진다. 여러 카메라의 영상 스트림이 추가되고 모델 인스턴스가 중복 생성되면 문제가 더욱 커진다.
이는 컴퓨터 비전에서 흔히 보이는 엔지니어링상의 절충이다. 모든 프레임마다 고비용의 의미 기반 검출을 다시 수행할 필요는 없다.
tamserve의 엔지니어링 절충
tamserve는 하이브리드 아키텍처를 사용한다. 몇 프레임마다 SAM 3을 호출해 목표물을 검출하고, 나머지 프레임은 경량 모델인 EdgeTAM으로 프레임 간 움직임을 추적한다.
두 단계로 구성된 파이프라인이라고 생각할 수 있다.
N프레임마다: SAM 3으로 목표물 검출
나머지 프레임: EdgeTAM으로 목표물 위치 유지
SAM 3은 ‘포크리프트란 무엇인가’, ‘사람이란 무엇인가’를 이해한다. EdgeTAM은 인접 프레임 사이의 이동을 처리한다. 두 모델을 결합하면 의미 기반 검출 모델이 매 프레임 다시 추론할 필요가 없어진다.
리소스 관리는 핵심 설계 중 하나다. tamserve는 모든 카메라가 각 모델의 동일한 인스턴스를 공유한다.
예를 들어 카메라 8대의 영상을 각각 처리하면서 SAM 3과 EdgeTAM을 개별적으로 로드하면 GPU 메모리 사용량이 영상 스트림 수에 따라 증가한다. 인스턴스를 공유하면 모델이 GPU 메모리에 상주하고, 각 영상은 자신의 입력과 추적 상태만 관리하게 된다.
이 구조 덕분에 새 목표물을 추가한 뒤에도 작업을 계속할 수 있다. person을 추가하려면 전체 멀티카메라 파이프라인을 다시 만드는 대신 목표물 목록만 갱신하면 된다.
단일 RTX 4090에서 얻은 결과
프로젝트가 공개한 테스트 수치는 다음과 같다.
- 하드웨어: 단일 RTX 4090
- 비교 대상: Meta SAM 3 tracker
- 지정 목표물 처리 속도: 4배 향상
- 정확도: SAM 3 tracker의 92% 유지
SAM 3 tracker가 약 8fps라면 같은 배수로 단순 계산했을 때 약 32fps에 가깝다. 하지만 실제 종단 간 지연은 카메라 프레임 속도, 검출 간격, 영상 디코딩, 목표물 수에도 영향을 받는다. 따라서 32fps를 모든 배포 환경에서 보장하는 수치로 볼 수는 없다.
엔지니어링 접근 방향은 타당하다. 비싸고 저빈도로 실행되는 검출과 저렴하고 고빈도로 실행되는 추적을 분리하면 속도뿐 아니라 GPU 메모리 사용량과 멀티비디오 확장성에서도 이점을 얻을 수 있다.
원본 프로젝트 주소는 다음과 같다.
- GitHub: aryamandarda/tamserve
편집자 관점
tamserve의 가치는 새로운 모델을 제안한 데 있지 않다. 검출과 추적을 분리한 데 있다. SAM 3은 의미를 담당하고 EdgeTAM은 시간에 따른 변화를 추적하며, 두 모델은 서로 다른 빈도로 실행된다. 이는 과거의 통합형 비전 솔루션과 다른 점이다. 하나의 모델이 인식, 위치 추정, 기억을 모두 담당하게 하는 대신 작업별 비용에 따라 연산을 나눈다.
제 판단에는 이러한 하이브리드 아키텍처가 모든 프레임을 단일 모델로 처리하는 방식보다 물류 창고, 캠퍼스, 리테일 환경에 적용하기 쉬울 것이다. 멀티카메라 수가 늘어나도 모델 인스턴스를 공유하고 GPU 메모리 사용량의 최댓값을 제어할 수 있다면, 단일 프레임 정확도가 몇 %_points 더 높은 것보다 큰 가치가 있다.
다만 현재 수치는 작성자가 직접 수행한 테스트에 기반한다. 정확도 92%의 산정 방식, 목표물 수, 가림 조건, 처리량 집계 기준은 저장소 코드를 추가로 확인해야 한다. 실제 환경에서는 역광, 분진, 카메라마다 다른 프레임 속도까지 나타날 수 있다. 먼저 개념 검증(PoC)을 수행한 뒤 실제 카메라 수에 맞춰 부하 테스트를 하는 편이 적절하며, 고정 지연을 그대로 약속해서는 안 된다.