工具

tamserve 實測:多路影片追蹤效能提升 4 倍

tamserve 將 SAM 3 的目標偵測與 EdgeTAM 的追蹤拆成兩套流程,在單張 RTX 4090 上達成 Meta SAM 3 tracker 4 倍的處理速度,同時維持 92% 準確率。本文解析其多攝影機架構、資源共享方式與實際部署限制。

字級

導言

SAM 3 原生 tracker 的處理速度約為 8 fps,處理長影片時還可能耗盡顯示記憶體。開源專案 tamserve 結合低頻偵測與輕量追蹤,在單張 RTX 4090 上將速度提升 4 倍。本文將拆解它如何處理多路即時影片,以及這些數據能否真正用於 production 環境。

專案示範揭示的核心設計

多攝影機影片追蹤有一個常見误区:目標辨識交給大型模型,運動追蹤也交給大型模型。結果是顯示記憶體占用增加,即時串流的處理速度也逐漸下降。

開源專案 tamserve 採用不同做法:由 SAM 3 負責找出目標,再交由 EdgeTAM 追蹤物件在相鄰影格間的位置。兩個模型各自負責擅長的任務。

依專案提供的測試數據,在單張 RTX 4090 上,指定目標的處理速度比 Meta SAM 3 tracker 快 4 倍,同時保留後者 92% 的準確率。

示範場景是多路即時影片。使用者先輸入:

forklift

系統隨即找到並追蹤兩輛叉車,畫面中的目標持續被標記,追蹤流程沒有中斷。

接著,使用者再輸入:

person

系統將人員加入目標清單,並繼續執行。使用者不必停止任務,也不必重新處理整段影片。

這裡有兩個值得注意的細節:

  • 新目標可透過文字加入已在執行的追蹤任務。
  • 多個攝影機共用同一組模型實例,而非每路影片各自載入一份。

因此,tamserve 展示的並非離線地替影片中的物件加上標框,而是一個能持續調整目標集合的即時影片 Agent。

為何不直接使用 SAM 3

Meta SAM 3 內建 tracker,但原生 tracker 每次只能處理一段錄製影片,速度約為 8 fps。影片一長就容易耗盡記憶體,顯示記憶體的壓力尤其明顯。

對即時攝影機而言,這套做法還有兩個問題。

第一,8 fps 並不等於穩定的即時處理。當目標快速移動、受到遮蔽或離開畫面時,較低的影格率會拉長回應延遲。

第二,影片越長,SAM 3 的記憶體占用越難控制。多路攝影機再乘上影片路數,重複建立模型實例只會進一步放大問題。

這正是電腦視覺中常見的工程取捨:不是每一個影格都需要重新進行高成本的語意偵測。

tamserve 的工程取捨

tamserve 採用混合架構:每隔數個影格呼叫 SAM 3 偵測目標,再由輕量級 EdgeTAM 追蹤影格間的運動。

可以將它視為兩階段的處理流程:

每 N 帧:SAM 3 检测目标
其余帧:EdgeTAM 延续目标位置

SAM 3 負責理解「什麼是叉車」「什麼是人」,EdgeTAM 則處理相鄰影格之間的位移。兩者結合後,就不必讓語意偵測模型在每一個影格重新推論。

資源管理是另一項關鍵設計。tamserve 在所有攝影機之間共用每個模型的單一實例。

假設有 8 路影片,若每一路都分別載入一套 SAM 3 與 EdgeTAM,顯示記憶體占用會隨路數增加。改為共用實例後,模型可常駐顯示記憶體,各路影片主要只需維護自己的輸入與追蹤狀態。

這也讓「輸入新目標後繼續執行」成為可能。新增 person 只需要更新目標集合,不必重建整條多攝影機處理流程。

單張 RTX 4090 的測試結果

專案提供的測試數據相當直接:

  • 硬體:單張 RTX 4090
  • 比較對象:Meta SAM 3 tracker
  • 指定目標處理速度:快 4 倍
  • 準確率:保留 SAM 3 tracker 的 92%

若 SAM 3 tracker 約為 8 fps,以相同倍率粗略換算,tamserve 接近 32 fps。實際端對端延遲仍會受到攝影機影格率、偵測間隔、影片解碼與目標數量影響,因此不能將 32 fps 視為所有部署環境都能達到的保證。

這個工程方向是成立的:將昂貴、低頻的偵測與低成本、高頻的追蹤拆開,效益不只反映在速度上,也能降低顯示記憶體峰值,並提升多路影片的擴充性。

原始專案位置:

編輯觀察

tamserve 的價值不在於提出新模型,而在於將偵測與追蹤解耦。SAM 3 負責語意理解,EdgeTAM 負責時序追蹤,兩者以不同頻率執行。這與過去常見的端對端視覺方案不同:系統不讓單一模型包辦辨識、定位與記憶,而是依任務成本拆分成不同運算。

我的判斷是,這類混合架構比「單一模型處理所有影格」更容易導入倉儲、園區與零售場景。當攝影機數量增加,共享模型實例並控制顯示記憶體峰值,通常比單一影格準確率多出幾個百分點更有實際價值。

不過,目前數據仍來自作者自己的測試。92% 準確率的指標定義、目標數量、遮蔽條件與吞吐量統計方式,都需要搭配專案程式碼進一步核對。實際環境還可能遇到逆光、粉塵及攝影機影格率不一致等問題。較適合先進行概念驗證,再依實際路數進行壓力測試,不能直接承諾固定的延遲表現。

來源

來源: https://github.com/aryamandarda/tamserve