工具

tamserve 实战:多路视频追踪提速 4 倍

tamserve 将 SAM 3 检测与 EdgeTAM 跟踪拆分,在单张 RTX 4090 上比 Meta SAM 3 tracker 快 4 倍,并保留 92% 准确率。本文拆解其多摄像头架构、资源复用方式与部署边界。

字号

导语

SAM 3 原生 tracker 约 8 fps,长视频还可能耗尽显存。开源项目 tamserve 将低频检测与轻量跟踪结合,在单张 RTX 4090 上提速 4 倍。本文拆解它如何处理多路视频,以及这些数字能否用于真实部署。

仓库视频里的核心玩法

多摄像头视频追踪有个常见误区:目标识别交给大模型,运动跟踪也交给大模型。结果就是显存占用增加,实时流越来越慢。

开源项目 tamserve 换了一种做法:SAM 3 负责发现目标,EdgeTAM 负责帧间跟踪。两个模型各司其职。

根据项目提供的测试数据,在单张 RTX 4090 上,指定目标处理速度比 Meta SAM 3 tracker 快 4 倍,同时保留其 92% 的准确率。

演示场景是多路实时视频。用户先输入:

forklift

系统随即找到并跟踪两辆叉车,画面里的目标被持续标记,追踪流程没有停止。

接着,用户再输入:

person

系统把人员加入目标列表,继续运行。用户无需停止任务,也不用重新处理整段视频。

这里有两个值得关注的细节:

  • 新目标通过文本加入已经运行的追踪任务。
  • 多个摄像头共享同一组模型实例,而不是每路视频各加载一份。

所以,tamserve 演示的不是离线的“给一段视频打框”,更像一个可持续修改目标集合的实时视频 Agent。

为什么不是直接用 SAM 3

Meta SAM 3 自带 tracker,但原生 tracker 一次只处理一段录制视频,速度约为 8 fps。长视频容易耗尽内存,显存压力尤其明显。

对实时摄像头来说,这套路径还有两个麻烦。

第一,8 fps 不等于稳定实时。目标快速移动、遮挡或离开画面时,较低的帧率会拉长响应延迟。

第二,视频越长,SAM 3 的内存占用越难控制。多路摄像头再乘上视频路数,模型重复实例化会进一步放大问题。

这正是计算机视觉里常见的工程取舍:不是所有帧都需要重新做高成本的语义检测。

tamserve 的工程取舍

tamserve 采用混合架构:每隔数帧调用 SAM 3 检测目标,再由轻量级 EdgeTAM 跟踪帧间运动。

可以把它理解为两级流水线:

每 N 帧:SAM 3 检测目标
其余帧:EdgeTAM 延续目标位置

SAM 3 负责理解“什么是叉车”“什么是人”。EdgeTAM 则处理相邻帧里的位移。两者组合后,没有必要让语义检测模型每一帧都重新推理。

资源管理是另一项关键设计。tamserve 在所有摄像头之间共享每个模型的一份实例。

假设有 8 路视频,每路都单独加载一套 SAM 3 和 EdgeTAM,显存占用会按路数增长。共享实例后,模型常驻显存,各路视频主要承担自己的输入与跟踪状态。

这也让“输入新目标后继续运行”成为可能。新增 person 只需要更新目标集合,不必重建整个多摄像头流水线。

单张 RTX 4090 的结果

项目给出的测试数字很直接:

  • 硬件:单张 RTX 4090
  • 对比对象:Meta SAM 3 tracker
  • 指定目标处理速度:快 4 倍
  • 准确率:保留 SAM 3 tracker 的 92%

如果 SAM 3 tracker 约为 8 fps,那么按相同倍数粗略换算,接近 32 fps。实际端到端延迟还会受到摄像头帧率、检测间隔、视频解码和目标数量影响,因此不能把 32 fps 当成所有部署环境的保证。

工程方向是成立的:把昂贵、低频的检测和便宜、高频的跟踪拆开,收益不只体现在速度上,也体现在显存峰值和多路视频的可扩展性上。

原始项目地址:

编辑思考

tamserve 的价值不在于提出了新模型,而在于把检测与跟踪解耦。SAM 3 负责语义,EdgeTAM 负责时序,两者按不同频率运行。这和过去常见的端到端视觉方案不同:系统不让一个模型包办识别、定位和记忆,而是按任务成本拆分计算。

我的判断是,这类混合架构比“单模型处理所有帧”更容易进入仓库、园区和零售场景。多摄像头数量上升后,共享模型实例和控制显存峰值,通常比单帧准确率高出几个百分点更值钱。

不过目前数字来自作者自己的测试。92% 准确率的指标定义、目标数量、遮挡条件和吞吐量统计方式,都需要结合仓库代码继续核对。真实环境还可能出现逆光、粉尘和摄像头帧率不一致。更适合先做概念验证,再根据实际路数压测,不能直接承诺固定延迟。

来源

  • https://github.com/aryamandarda/tamserve
来源: https://github.com/aryamandarda/tamserve