① マルチカメラによる3D物体検出

複数のカメラ画像を統合し、人物や車両、フォークリフトなどの対象物を三次元空間上で検出します。検出結果は位置だけでなく、高さ・幅・奥行き・向きなどを含む3D Bounding Boxとして出力されるため、対象物同士の空間的な位置関係を把握できます。

② 物体の継続的な追跡（Multi-Object Tracking）

検出した各物体にはTracking IDが付与されます。同じ対象物に対してフレームをまたいで同じIDを維持することで、人物や搬送機器の移動経路や滞留状況などを継続的に追跡できます。

③ Bird's Eye View（BEV）による空間の可視化

Sparse4Dでは、複数カメラの認識結果を共通の座標系へ統合し、BEVとして俯瞰表示できます。カメラごとの視点では把握しづらい物体同士の位置関係や移動状況を、一つの空間として直感的に確認できます。

④ 既存のカメラ設備を活用した3D認識

Sparse4Dは、LiDARなどの専用センサーではなく、複数のRGBカメラを利用して3D認識を実現します。そのため、既設のカメラ設備を活用しながら、周辺環境認識システムを構築できる点も大きな特長です。

⑤ ファインチューニングによる環境への適応

Sparse4DはNVIDIA TAO Toolkitに対応しており、自社で収集したデータやシミュレーションデータを用いてファインチューニングを行うことができます。これにより、対象物や設置環境に合わせたモデルへ適応し、より実運用に適したAIモデルを構築できます。

① 物流倉庫における安全管理と作業分析

物流倉庫では、作業者、フォークリフト、搬送ロボットが同じ空間で稼働しています。Sparse4Dを利用することで、それぞれの位置や移動状況を三次元空間で把握できるため、接触リスクの可視化や危険エリアへの侵入検知、作業動線の分析などに活用できます。また、BEVによって現場全体の状況を俯瞰的に確認できるため、搬送ルートの見直しや滞留箇所の分析など、運用改善に役立つ情報を取得できます。

② 工場における設備監視

工場では、生産設備や搬送設備の周辺を複数のカメラで監視するケースが多くあります。Sparse4Dを利用することで、設備周辺にいる作業者や搬送機器の位置関係を三次元的に把握できるため、危険エリアへの接近状況や設備周辺の混雑状況をより正確に監視できます。取得した位置情報や移動履歴は、安全基準の遵守状況の確認や設備レイアウトの改善、運用ルールの見直しなどにも活用できます。

③ AGV・AMRを含む自律搬送システムとの連携

AGV（無人搬送車）やAMR（自律搬送ロボット）が稼働する現場では、周囲の人物や搬送機器との位置関係を把握することが重要です。Sparse4Dは、複数カメラから取得した情報を基に周辺環境を三次元的に認識できるため、運行管理システムや監視システムと組み合わせることで、安全な運用を支援できます。

例えば、人や他の搬送機器との接近状況を可視化したり、混雑しやすいエリアや時間帯を分析したりすることで、運行計画の最適化や安全性の向上につなげることが期待できます。

推奨環境と検証環境

今回の検証では、NVIDIA L40S-48Q（48GB VRAM）を搭載したGPUサーバー上で、Warehouse Blueprintの4ストリームサンプルデータセットを使用し、Sparse4Dによる3D物体検出・追跡を確認しました。なお、実際に必要となるGPU性能は、入力するカメラ台数や映像解像度、フレームレート、他のAIモデルとの組み合わせなどによって変化します。本記事の環境は、Sparse4Dを評価・検証するための一例として参考にしてください。

① Warehouse Blueprintの取得

まず、GitHubからWarehouse Blueprintのリポジトリを取得します。

git clone https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization.git
cd video-search-and-summarization
git checkout tags/v3.2.0
git lfs install
git lfs pull
cd deploy/docker

注：リポジトリではGit LFS（Large File Storage）が利用されているため、事前にGit LFSをインストールしておく必要があります。

② NGC API Keyの設定

Warehouse Blueprintでは、コンテナイメージやサンプルデータをNVIDIA NGC™  から取得するため、NGC API Keyが必要です。 以下のように環境変数へ設定します。
NGC API Keyの取得方法については、NGCのユーザーガイドをご参照ください。

export NGC_CLI_API_KEY=<NGC_CLI_API_KEY>
export NGC_CLI_ORG='nvidia'

③ サンプルデータのダウンロード

Warehouse Blueprintには、すぐに動作確認できるサンプル動画データが用意されています。

ngc \
   registry \
   resource \
   download-version \
   nvidia/vss-warehouse/vss-warehouse-app-data:3.2.0
cd vss-warehouse-app-data_v3.2.0
tar -xvf vss-warehouse-app-data.tar.gz
sudo chmod -R 777 /path/to/vss-warehouse-app-data

以上で必要なデータのダウンロードが完了しました。

④ Warehouse Blueprintのデプロイ

MODE=3d # Sparse4Dを使用する場合は'3d'を選択
BP_PROFILE=bp_wh_kafka # 'MODE=3d'の場合は'bp_wh_kafka'を選択
SAMPLE_VIDEO_DATASET="warehouse-4cams-20mx20m-synthetic" # Sparse4D用のデータセットを選択
HARDWARE_PROFILE=L40S # 使用しているHWを選択
VSS_APPS_DIR="/path/to/deploy/docker" # Blueprintのダウンロードパスを選択
VSS_DATA_DIR="/path/to/vss-warehouse-app-data" # サンプルデータのダウンロードパスを選択
HOST_IP='localhost' # Host IPを入力
NGC_CLI_API_KEY='YOUR_KEY' # NGC CLI API Keyを入力
NVIDIA_API_KEY='YOUR_KEY' # NVIDIA API Keyを入力

source /path/to/deploy/docker/industry-profiles/warehouse-operations/.env
cd /path/to/deploy/docker
docker login \
    --username '$oauthtoken' \
    --password "${NGC_CLI_API_KEY}" \
    nvcr.io
docker compose \
    --env-file industry-profiles/warehouse-operations/.env \
    up \
    --detach \
    --pull always \
    --force-recreate \
    --build

① VSTへアクセス

Webブラウザからhttp://<HOST_IP>:30888/vstへアクセスします。

上図は、ブラウザでVST（Video Storage Toolkit）のトップ画面にアクセスした際の表示例です。左側のメニューから「Video Wall」を選択することで、Sparse4Dの推論結果を確認できます。

② Video Wallで推論結果を表示

左のメニューからVideo Wallを開くと、Warehouse Blueprintのサンプル映像に対してSparse4Dが実行され、複数カメラの認識結果をリアルタイムで確認できます。

Video Wallでは、各カメラ映像に対して人物や車両などの対象物が3D Bounding Boxで表示されます。 また、検出した物体にはTracking IDが付与され、同一物体をフレームをまたいで継続的に追跡していることを確認できます。

上図は、Video Wallで4台のカメラ映像を同時に表示している例です。

③ BEV表示を確認

Video Wallの設定からBEVを表示させて、各カメラから取得した認識結果を俯瞰視点で確認できます。複数カメラでは把握しづらい対象物同士の位置関係や移動状況を、1つの空間として直感的に把握できる点が特長です。

Video Wallで確認できる情報

Video Wallでは、Sparse4Dによる認識結果として主に以下の情報を確認できます。