ツール

tamserve 実践:マルチカメラ追跡を4倍高速化

tamserve は SAM 3 の検出と EdgeTAM の追跡を分離し、単一 RTX 4090 上で Meta SAM 3 tracker より4倍高速な処理を実現しながら、92%の精度を維持する。本稿では、そのマルチカメラ構成、リソース共有、導入上の限界を解説します。

文字サイズ

はじめに

SAM 3 の標準 tracker は約8 fpsで動作し、長時間servicingすると VRAM を exhausting するmileもある。オープンソースプロジェクト tamserve は、低頻度の検出と軽量な追跡を組み合わせ、単一 RTX 4090 上で4倍に高速化した。本稿では、マルチカメラ映像をどう処理しているか,以及その性能データが実運用にどこまで適用できるかを検証する。

リポジトリのデモで見る基本思路

マルチカメラ映像の追跡には、よくある誤解があります。目標 detection は大きなモデルに任せ、運動 tracking も同じモデルに任せる antagonisticです。その結果、VRAM 使用量が増え、リアルタイムストリームは徐々に遅くなる。

オープンソースプロジェクト tamserve は別のアプローチを取ります。SAM 3 が対象を検出し、EdgeTAM がフレーム間の位置を追跡します。役割を分けた二つのモデルです。

プロジェクト提供のベンチマークによると、単一 RTX 4090 上で、指定対象の処理速度は Meta SAM 3 tracker の4倍です。その際、SAM 3 tracker の92%の精度も維持しています。

デモでは、複数カメラのリアルタイム映像を取り扱います。ユーザーが最初に次を入力します。

forklift

するとシステムforklift二台を検出して追跡し、画面上の対象が継続的にマークされます。追跡処理は停止しません。

続いて、ユーザーが次を入力します。

person

システムは人员进行対象リストに追加し、そのまま処理を続行します。タスクを停止したり、映像全体を処理し直したりする必要はありません。

ここで注目すべき点が二つあります。

  • 新しい対象をテキストで、実行中の追跡タスクに追加できる。
  • 複数のカメラが同じモデルインスタンスを共有し、各カメラ個別に読み込まずに運用できる。

そのため、tamserve のデモは、オフラインで「一つの動画に bounding box を付ける」だけのツールではありません。対象集合を常時変更できる、リアルタイム映像向けの Agent に近い設計です。

なぜ SAM 3 をそのまま使わないのか

Meta SAM 3 には tracker が組み込まれていますが、標準の tracker は一度に一つの録画映像しか処理できず、速度は約8 fps です。長い動画では memory を圧迫しやすく、特に VRAM の負担が大きくなります。

リアルタイムカメラでは、もう二つ問題があります。

第一に、8 fps は安定したリアルタイム性能ではありません。対象が高速で移動したり、遮蔽されたり、画面外に出たりすると、低いフレームレートが応答遅延を押し上げます。

第二に、動画が長いほど SAM 3 の memory 使用量を制御しにくくなります。複数カメラEFLomer矿井する这台数だけ增加して、モデルの重複インスタンス化が問題をさらに悪化させます。

これは computer vision で一般的な engineering の trade-off です。すべてのフレームで、高コストな semantic detection を再度実行する必要はありません。

tamserve の engineering trade-off

tamserve は hybrid architecture を採用しています。数フレームごとに SAM 3 で対象を detection し、軽量な EdgeTAM がフレーム間の動きを追跡します。

二段階の pipeline として理解できます。

Nフレームごと:SAM 3 で対象を detection
その他のフレーム:EdgeTAM が位置を continuity

SAM 3 は「forkliftとは何か」「人とは何か」を理解します。EdgeTAM は隣接フレーム間の移動量を処理します。二つを組み合わせれば、semantic detection model を毎フレーム再推論させる必要はありません。

resource management も重要な design です。tamserve では、すべてのカメラが各モデルの一つのインスタンスを共有します。

仮に8台のカメラがあり、それぞれに SAM 3 と EdgeTAM を別々に load すると、VRAM 使用量はカメラ台数に比例して増えます。インスタンスを共有すれば、モデルは常時 VRAM 上に常駐し、各カメラが負担するのは入力と追跡状態だけになります。

これにより、「新しい対象を追加してから処理を続行する」ことも可能になります。person を追加する場合でも、対象集合を更新するだけで済み、マルチカメラ pipeline 全体を再構築する必要はありません。

単一 RTX 4090 での結果

プロジェクトが公開しているテストデータは明确的です。

  • Hardware:単一 RTX 4090
  • 比較対象:Meta SAM 3 tracker
  • 指定対象の処理速度:4倍高速
  • 精度:SAM 3 tracker の92%を維持

SAM 3 tracker が約8 fpsなら、同じ比率で換算すると約32 fps です。ただし、実際の end-to-end latency はカメラのフレームレート、detection interval、video decoding、対象数にも左右されます。32 fps はすべての導入環境で保証される数値ではありません。

engineering の方向性は妥当です。高価で低頻度の detection と、低価で高頻度の tracking を分離する効果は、速度だけでなく、VRAM のピーク使用量や複数カメラへの scalability にも表れます。

元のプロジェクトはこちらです。

編集者の視点

tamserve の価値は、新しいモデルを発表したことにはありません。detection と tracking を decouple した点にあります。SAM 3 が semantic を、EdgeTAM が temporal information を担当し、それぞれ異なる頻度で動きます。これは以往よく見られた end-to-end vision とは異なります。一つのモデルに identification、localization、memory をすべて任せるのではなく、task cost に応じて計算を分けた設計です。

私としては、こうした hybrid architecture は、「全フレームを単一モデルで処理する」方式より、倉庫、 Campus、小売現場に導入しやすいと考えます。カメラ数が増えたとき、モデルインスタンスの共有と VRAM ピークの抑制は、単一フレームの精度が数ポイント向上する以上の意味を持ちます。

ただし、現状の数字は作者自身のテストに基づいています。92%の精度がどう定義されているか、対象数、遮蔽条件、throughput の集計方法を、コードと照合して確認する必要があります。実際の環境では逆光、粉塵、カメラごとのフレームレート差も発生します。まず概念検証を行い、実際のカメラ台数で負荷テストを行ってから、固定 latency を約束する形にすることが適切です。

Source

出典: https://github.com/aryamandarda/tamserve