はじめに
SAM 3 の標準 tracker は約8 fpsで動作し、長時間servicingすると VRAM を exhausting するmileもある。オープンソースプロジェクト tamserve は、低頻度の検出と軽量な追跡を組み合わせ、単一 RTX 4090 上で4倍に高速化した。本稿では、マルチカメラ映像をどう処理しているか,以及その性能データが実運用にどこまで適用できるかを検証する。
リポジトリのデモで見る基本思路
マルチカメラ映像の追跡には、よくある誤解があります。目標 detection は大きなモデルに任せ、運動 tracking も同じモデルに任せる antagonisticです。その結果、VRAM 使用量が増え、リアルタイムストリームは徐々に遅くなる。
オープンソースプロジェクト tamserve は別のアプローチを取ります。SAM 3 が対象を検出し、EdgeTAM がフレーム間の位置を追跡します。役割を分けた二つのモデルです。
プロジェクト提供のベンチマークによると、単一 RTX 4090 上で、指定対象の処理速度は Meta SAM 3 tracker の4倍です。その際、SAM 3 tracker の92%の精度も維持しています。
デモでは、複数カメラのリアルタイム映像を取り扱います。ユーザーが最初に次を入力します。
forklift
するとシステムforklift二台を検出して追跡し、画面上の対象が継続的にマークされます。追跡処理は停止しません。
続いて、ユーザーが次を入力します。
person
システムは人员进行対象リストに追加し、そのまま処理を続行します。タスクを停止したり、映像全体を処理し直したりする必要はありません。
ここで注目すべき点が二つあります。
- 新しい対象をテキストで、実行中の追跡タスクに追加できる。
- 複数のカメラが同じモデルインスタンスを共有し、各カメラ個別に読み込まずに運用できる。
そのため、tamserve のデモは、オフラインで「一つの動画に bounding box を付ける」だけのツールではありません。対象集合を常時変更できる、リアルタイム映像向けの Agent に近い設計です。
なぜ SAM 3 をそのまま使わないのか
Meta SAM 3 には tracker が組み込まれていますが、標準の tracker は一度に一つの録画映像しか処理できず、速度は約8 fps です。長い動画では memory を圧迫しやすく、特に VRAM の負担が大きくなります。
リアルタイムカメラでは、もう二つ問題があります。
第一に、8 fps は安定したリアルタイム性能ではありません。対象が高速で移動したり、遮蔽されたり、画面外に出たりすると、低いフレームレートが応答遅延を押し上げます。
第二に、動画が長いほど SAM 3 の memory 使用量を制御しにくくなります。複数カメラEFLomer矿井する这台数だけ增加して、モデルの重複インスタンス化が問題をさらに悪化させます。
これは computer vision で一般的な engineering の trade-off です。すべてのフレームで、高コストな semantic detection を再度実行する必要はありません。
tamserve の engineering trade-off
tamserve は hybrid architecture を採用しています。数フレームごとに SAM 3 で対象を detection し、軽量な EdgeTAM がフレーム間の動きを追跡します。
二段階の pipeline として理解できます。
Nフレームごと:SAM 3 で対象を detection
その他のフレーム:EdgeTAM が位置を continuity
SAM 3 は「forkliftとは何か」「人とは何か」を理解します。EdgeTAM は隣接フレーム間の移動量を処理します。二つを組み合わせれば、semantic detection model を毎フレーム再推論させる必要はありません。
resource management も重要な design です。tamserve では、すべてのカメラが各モデルの一つのインスタンスを共有します。
仮に8台のカメラがあり、それぞれに SAM 3 と EdgeTAM を別々に load すると、VRAM 使用量はカメラ台数に比例して増えます。インスタンスを共有すれば、モデルは常時 VRAM 上に常駐し、各カメラが負担するのは入力と追跡状態だけになります。
これにより、「新しい対象を追加してから処理を続行する」ことも可能になります。person を追加する場合でも、対象集合を更新するだけで済み、マルチカメラ pipeline 全体を再構築する必要はありません。
単一 RTX 4090 での結果
プロジェクトが公開しているテストデータは明确的です。
- Hardware:単一 RTX 4090
- 比較対象:Meta SAM 3 tracker
- 指定対象の処理速度:4倍高速
- 精度:SAM 3 tracker の92%を維持
SAM 3 tracker が約8 fpsなら、同じ比率で換算すると約32 fps です。ただし、実際の end-to-end latency はカメラのフレームレート、detection interval、video decoding、対象数にも左右されます。32 fps はすべての導入環境で保証される数値ではありません。
engineering の方向性は妥当です。高価で低頻度の detection と、低価で高頻度の tracking を分離する効果は、速度だけでなく、VRAM のピーク使用量や複数カメラへの scalability にも表れます。
元のプロジェクトはこちらです。
- GitHub:aryamandarda/tamserve
編集者の視点
tamserve の価値は、新しいモデルを発表したことにはありません。detection と tracking を decouple した点にあります。SAM 3 が semantic を、EdgeTAM が temporal information を担当し、それぞれ異なる頻度で動きます。これは以往よく見られた end-to-end vision とは異なります。一つのモデルに identification、localization、memory をすべて任せるのではなく、task cost に応じて計算を分けた設計です。
私としては、こうした hybrid architecture は、「全フレームを単一モデルで処理する」方式より、倉庫、 Campus、小売現場に導入しやすいと考えます。カメラ数が増えたとき、モデルインスタンスの共有と VRAM ピークの抑制は、単一フレームの精度が数ポイント向上する以上の意味を持ちます。
ただし、現状の数字は作者自身のテストに基づいています。92%の精度がどう定義されているか、対象数、遮蔽条件、throughput の集計方法を、コードと照合して確認する必要があります。実際の環境では逆光、粉塵、カメラごとのフレームレート差も発生します。まず概念検証を行い、実際のカメラ台数で負荷テストを行ってから、固定 latency を約束する形にすることが適切です。