導言
SAM 3 原生 tracker 的處理速度約為 8 fps,處理長影片時還可能耗盡顯示記憶體。開源專案 tamserve 結合低頻偵測與輕量追蹤,在單張 RTX 4090 上將速度提升 4 倍。本文將拆解它如何處理多路即時影片,以及這些數據能否真正用於 production 環境。
專案示範揭示的核心設計
多攝影機影片追蹤有一個常見误区:目標辨識交給大型模型,運動追蹤也交給大型模型。結果是顯示記憶體占用增加,即時串流的處理速度也逐漸下降。
開源專案 tamserve 採用不同做法:由 SAM 3 負責找出目標,再交由 EdgeTAM 追蹤物件在相鄰影格間的位置。兩個模型各自負責擅長的任務。
依專案提供的測試數據,在單張 RTX 4090 上,指定目標的處理速度比 Meta SAM 3 tracker 快 4 倍,同時保留後者 92% 的準確率。
示範場景是多路即時影片。使用者先輸入:
forklift
系統隨即找到並追蹤兩輛叉車,畫面中的目標持續被標記,追蹤流程沒有中斷。
接著,使用者再輸入:
person
系統將人員加入目標清單,並繼續執行。使用者不必停止任務,也不必重新處理整段影片。
這裡有兩個值得注意的細節:
- 新目標可透過文字加入已在執行的追蹤任務。
- 多個攝影機共用同一組模型實例,而非每路影片各自載入一份。
因此,tamserve 展示的並非離線地替影片中的物件加上標框,而是一個能持續調整目標集合的即時影片 Agent。
為何不直接使用 SAM 3
Meta SAM 3 內建 tracker,但原生 tracker 每次只能處理一段錄製影片,速度約為 8 fps。影片一長就容易耗盡記憶體,顯示記憶體的壓力尤其明顯。
對即時攝影機而言,這套做法還有兩個問題。
第一,8 fps 並不等於穩定的即時處理。當目標快速移動、受到遮蔽或離開畫面時,較低的影格率會拉長回應延遲。
第二,影片越長,SAM 3 的記憶體占用越難控制。多路攝影機再乘上影片路數,重複建立模型實例只會進一步放大問題。
這正是電腦視覺中常見的工程取捨:不是每一個影格都需要重新進行高成本的語意偵測。
tamserve 的工程取捨
tamserve 採用混合架構:每隔數個影格呼叫 SAM 3 偵測目標,再由輕量級 EdgeTAM 追蹤影格間的運動。
可以將它視為兩階段的處理流程:
每 N 帧:SAM 3 检测目标
其余帧:EdgeTAM 延续目标位置
SAM 3 負責理解「什麼是叉車」「什麼是人」,EdgeTAM 則處理相鄰影格之間的位移。兩者結合後,就不必讓語意偵測模型在每一個影格重新推論。
資源管理是另一項關鍵設計。tamserve 在所有攝影機之間共用每個模型的單一實例。
假設有 8 路影片,若每一路都分別載入一套 SAM 3 與 EdgeTAM,顯示記憶體占用會隨路數增加。改為共用實例後,模型可常駐顯示記憶體,各路影片主要只需維護自己的輸入與追蹤狀態。
這也讓「輸入新目標後繼續執行」成為可能。新增 person 只需要更新目標集合,不必重建整條多攝影機處理流程。
單張 RTX 4090 的測試結果
專案提供的測試數據相當直接:
- 硬體:單張 RTX 4090
- 比較對象:Meta SAM 3 tracker
- 指定目標處理速度:快 4 倍
- 準確率:保留 SAM 3 tracker 的 92%
若 SAM 3 tracker 約為 8 fps,以相同倍率粗略換算,tamserve 接近 32 fps。實際端對端延遲仍會受到攝影機影格率、偵測間隔、影片解碼與目標數量影響,因此不能將 32 fps 視為所有部署環境都能達到的保證。
這個工程方向是成立的:將昂貴、低頻的偵測與低成本、高頻的追蹤拆開,效益不只反映在速度上,也能降低顯示記憶體峰值,並提升多路影片的擴充性。
原始專案位置:
- GitHub:aryamandarda/tamserve
編輯觀察
tamserve 的價值不在於提出新模型,而在於將偵測與追蹤解耦。SAM 3 負責語意理解,EdgeTAM 負責時序追蹤,兩者以不同頻率執行。這與過去常見的端對端視覺方案不同:系統不讓單一模型包辦辨識、定位與記憶,而是依任務成本拆分成不同運算。
我的判斷是,這類混合架構比「單一模型處理所有影格」更容易導入倉儲、園區與零售場景。當攝影機數量增加,共享模型實例並控制顯示記憶體峰值,通常比單一影格準確率多出幾個百分點更有實際價值。
不過,目前數據仍來自作者自己的測試。92% 準確率的指標定義、目標數量、遮蔽條件與吞吐量統計方式,都需要搭配專案程式碼進一步核對。實際環境還可能遇到逆光、粉塵及攝影機影格率不一致等問題。較適合先進行概念驗證,再依實際路數進行壓力測試,不能直接承諾固定的延遲表現。