サイト内検索

はじめに

NVIDIA Metropolis Blueprint for Video Search and Summarization(VSS)は生成AIと映像解析AIを組み合わせ、ライブ映像や録画映像の検索・要約・質問応答・イベント通知を自然言語で実現するGPU加速型の映像AIエージェント開発向けプラットフォームです。
本記事では、LLMとして NVIDIA Nemotron-Nano-9B-v2-Japanese を使用して基本的なビジョンエージェントをデプロイする手順について説明します。
今回のケースでは、LLM(自然言語モデル)とVLM(視覚言語モデル)の両方を
NVIDIA NIM™コンテナとしてエッジAIデバイス(NVIDIA® Jetson AGX Thor™ 開発者キット)単体に実装します。
また、本手順は、NVIDIA VSS 3.2.1の記載内容をベースに解説しています。

なお、VSSの仕組みなど、詳しい情報については以下記事もあわせてご参照ください。

0. 事前準備

◆ハードウェア要件

 ・NVIDIA Jetson AGX Thor 開発者キット

 ・モニター

 ・キーボード & マウス

 ・USBメモリー(16GB以上のもの)

 ・(Option):ネットワークケーブル(物理ネットワークに接続する場合)

 ・(Option):PC(Windows / Mac / LinuxいずれかのOSで、容量に25GB以上の空きがあるもの)

  ※Jetpack SDKインストールにSDK Managerを用いる場合にはPCを使用します。

 

◆ソフトウェア要件

 ・Jetson AGX Thor開発者キットユーザーガイドの手順に従って、JetPack 7.1(Jetson Linux 38.4)をインストールします。
 ※インストール手順については、「Jetson AGX Thor 開発者キット入門:最短セットアップからAI推論の動作確認まで」記事もご参考ください。

 ※インストール完了後、Jetson AGX Thor開発者キットをインターネットに接続してください。

 

◆Webブラウザ(Chromium)のインストール

 ・Jetson AGX Thor開発者キット起動後に、Ubuntu App CenterからChromiumをインストールしてください。

APIキー & トークンの生成

◆NGC APIキー生成

①https://ngc.nvidia.comにアクセスし、右上隅にある”Welcom Guest”をクリックし、アカウントの「新規登録」或いは、既にアカウントをお持ちの場合は「ログイン」してください。

②ログイン後、右上隅にあるユーザー名をクリックし、「Account Settings」を選択してください。

③”Keys & Secrets”から、「Generate API Key」をクリックしてください。

④”API Keys”画面が開きましたら、「+ Generate Personal Key」をクリックしてください。

⑤”Generate Personal Key”セッティング画面が開きますので、Kye Name*、Expiration*、Key Permissions*を設定してください。

 ※Key Permissionsは、「NGC Catalog」を選択してください。

⑥生成されたAPIキーはすぐにコピーし、保存しておいてください。


◆Hugging Face アクセストークンの生成

①Hugging Faceにアクセスし、アカウントの「新規登録」或いは、既にアカウントをお持ちの場合は「ログイン」してください。

② Access Tokensにアクセスし、読み取り権限を持つトークンを作成します。

③生成されたトークンはすぐにコピーし、保存しておいてください。

1. Jetson AGX Thor 開発者キットの初期設定

◆Linux カーネルのネットワーク関連の設定

sudo ls -l /etc/sysctl.d
sudo bash -c "printf '%s\ n'  \
  'net.ipv6.conf.all.disable_ipv6 = 1' \
  'net.ipv6.conf.default.disable_ipv6 = 1' \
  'net.ipv6.conf.lo.disable_ipv6 = 1' \
  'net.core.rmem_max = 5242880' \
  'net.core.wmem_max = 5242880' \
  'net.ipv4.tcp_rmem = 4096 87380 16777216' \
  'net.ipv4.tcp_wmem = 4096 65536 16777216' \
  > /etc/sysctl.d/99-vss.conf"
sudo sysctl --system

◆Jetson Thorのパワーモード及び、動作クロック設定

# Set max power mode
sudo nvpmodel -m 0

上記コマンド入力後、システムを再起動します。

# Set max clocks
sudo jetson_clocks

◆キャッシュクリーナーの設定

 キャッシュクリーナースクリプトを作成し、バックグランドで実行します。

sudo tee /usr/local/bin/sys-cache-cleaner.sh << 'EOF'
#!/bin/bash
# Exit immediately if any command fails
set -e
# Disable hugepages
echo "disable vm/nr_hugepage"
echo 0 | tee /proc/sys/vm/nr_hugepages
# Notify that the cache cleaner is running
echo "Starting cache cleaner - Running"
echo "Press Ctrl + C to stop"
# Repeatedly sync and drop caches every 3 seconds
while true; do
     sync && echo 3 | tee /proc/sys/vm/drop_caches > /dev/null
     sleep 3
done
EOF

sudo chmod +x /usr/local/bin/sys-cache-cleaner.sh
sudo -b /usr/local/bin/sys-cache-cleaner.sh

◆NGC APIキー & Hugging Face トークンのエクスポート

# Set your NGC API key
export NGC_CLI_API_KEY='your_ngc_api_key'
export NVIDIA_API_KEY='your_ngc_api_key'

# Set your Hugging Face token export HF_TOKEN='hf_your_token_here'

”APIキー & トークンの生成”手順で生成した、NGC API キーと、Hugging Face トークンをそれぞれ設定してください。

2. Docker のインストール

Dockerのバージョンは、28.3.3以降かつ、29.5.0以前のバージョンを使用する必要があります。


①Jetpack SDKのデフォルトインストールでは、上記以外のバージョンがプリインストールされている可能性がありますので、下記コマンドで一度Dockerをアンインストールします。

sudo apt remove $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc docker-buildx podman-docker containerd runc | cut -f1)

②Docker のaptリポジトリを設定します。

# Add Docker's official GPG key:
sudo apt update
sudo apt install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources: sudo tee /etc/apt/sources.list.d/docker.sources <<EOF Types: deb URIs: https://download.docker.com/linux/ubuntu Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") Components: stable Architectures: $(dpkg --print-architecture) Signed-By: /etc/apt/keyrings/docker.asc EOF
sudo apt update

③Dockerパッケージのインストール

 ※下記コマンドで、Dockerバージョン:29.5.0を指定してインストールします。

VERSION_STRING=5:29.5.0-1~ubuntu.24.04~noble
sudo apt install docker-ce=$VERSION_STRING docker-ce-cli=$VERSION_STRING containerd.io docker-buildx-plugin docker-c

④インストール後、Dokcer  が実行されていることを確認してください。
 Dockerが実行されていない場合は、手動で起動してください。

sudo systemctl status docker
sudo systemctl start docker

⑤sudo なし(非Rootユーザー)でDockerを実行するために、下記コマンドを実行します。

sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker

⑥Dockerデーモンの設定ファイル(/etc/docker/daemon.json)を編集します。

 設定ファイルに下記を追加します。

 "exec-opts": ["native.cgroupdriver=cgroupfs"]

⑦編集を有効にするためにDockerを再起動します。

sudo systemctl daemon-reload
sudo systemctl restart docker

3. NVIDIA Container Toolkitのインストール

NVIDIAコンテナを実行するには、NVIDIA Container Toolkitが必要になります。
下記コマンドを実行して、NVIDIA Container Toolkitのインストールします。

#前提条件となるソフトウェアのインストール
sudo apt-get update && sudo apt-get install -y --no-install-recommends \
   ca-certificates \
   curl \
   gnupg2

#リポジトリの設定 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update
#NVIDIA Container Toolkitパッケージのインストール export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1 sudo apt-get install -y \ nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

4. NGC CLIのインストール

①NGC CLIをダウンロードして、インストールします。

curl -sLo "/tmp/ngccli.zip" https://api.ngc.nvidia.com/v2/resources/nvidia/ngc-apps/ngc_cli/versions/4.10.0/files/ngccli_arm64.zip

sudo mkdir -p /usr/local/bin sudo unzip -qo /tmp/ngccli.zip -d /usr/local/lib sudo chmod +x /usr/local/lib/ngc-cli/ngc sudo ln -sfn /usr/local/lib/ngc-cli/ngc /usr/local/bin/ngc

②NGC CLI にAPIキーを設定する

 ※”APIキー & トークンの生成”手順で生成した、NGC API キーを使用します。

ngc config set

5. サンプル動画とデプロイパッケージのダウンロード

①サンプル動画のダウンロード

 # Download sample data
 ngc registry resource download-version nvidia/vss-developer/dev-profile-sample-data:3.2.0
 EXTRACT_DIR=./sample-data
 mkdir -p "${EXTRACT_DIR}"
 tar -xf dev-profile-sample-data_v3.2.0/dev-profile-sample-data.tar.gz -C "${EXTRACT_DIR}"
 rm -rf dev-profile-sample-data_v3.2.0

②デプロイパッケージのダウンロード

sudo apt-get install git-lfs
git clone https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization.git
cd video-search-and-summarization
git checkout tags/v3.2.1
git lfs install
git lfs pull

6. LLM(Nemotron Nano 9Bモデル)起動とエージェントワークフローのデプロイ

 デプロイ実行スクリプト(deploy/docker/scripts/dev-profile.sh)を使用して起動します。
 ※起動には数十分かかります。正常起動すると、「[INFO] State up completed」と表示されます。

deploy/docker/scripts/dev-profile.sh up -p base \
    --hardware-profile AGX-THOR \
    --llm nvidia/NVIDIA-Nemotron-Nano-9B-v2-FP8

7. エージェントUIへアクセス

①Webブラウザ(Chromium)を立ち上げて、URLに http://<HOST_IP>:7777 を入力し、UIを起動します。

 ※<HOST_IP>は、ifconfigコマンドで適宜ご確認ください。

②サンプル動画のアップロード
 「+ Upload Vide」アイコンをクリックし、動画ファイルを指定します。
 各動画ファイルは下記ディレクトリにあります。

 ”sample-data/dev-profile-sample-data/warehouse_safety_0001.mp”

③動画ファイル名が正しく選択されていることを確認し、「Upload(1)」をクリックします。

 続いて、画面右下のチャットアイコンをクリックし、チャットウィンドウを開きます。

④アップロードした動画についてエージェントに質問します。

 例1)Is the worker wearing PPE?

⑤同様にして追加の質問をしてみましょう。

 例2)When did the worker climb up the ladder?

   サンプル動画を再生し、確認してみるとエージェントが回答した0.6秒~5.6秒付近で作業員が踏み台を上っているところが確認できます。

⑥レポートを生成する

 エージェントに動画に関するレポートを作成するよう依頼することもできます。

 例3)Can you generate a report for this video?

⑦最後にDockerコンテナをシャットダウンし、完了します。

./deploy/docker/scripts/dev-profile.sh down

まとめ

エッジAIデバイスの高性能化や、LLMモデルの小型/最適化により、Jetson単体でも⽣成AIと映像解析AIを組み合わせた アプリケーションの実装が可能となりました。
これにより、用途やニーズに合わせたAIエージェントの導入が実現可能となります。

Jetsonを活用したエッジAIや、生成AI・映像解析AIの活用にご興味がございましたら、お気軽にお問い合わせください。

お問い合わせ