はじめに
NVIDIA Metropolis Blueprint for Video Search and Summarization(VSS)は生成AIと映像解析AIを組み合わせ、ライブ映像や録画映像の検索・要約・質問応答・イベント通知を自然言語で実現するGPU加速型の映像AIエージェント開発向けプラットフォームです。
本記事では、LLMとして NVIDIA Nemotron-Nano-9B-v2-Japanese を使用して基本的なビジョンエージェントをデプロイする手順について説明します。
今回のケースでは、LLM(自然言語モデル)とVLM(視覚言語モデル)の両方をNVIDIA NIM™コンテナとしてエッジAIデバイス(NVIDIA® Jetson AGX Thor™ 開発者キット)単体に実装します。
また、本手順は、NVIDIA VSS 3.2.1の記載内容をベースに解説しています。
なお、VSSの仕組みなど、詳しい情報については以下記事もあわせてご参照ください。
0. 事前準備
◆ハードウェア要件
・NVIDIA Jetson AGX Thor 開発者キット
・モニター
・キーボード & マウス
・USBメモリー(16GB以上のもの)
・(Option):ネットワークケーブル(物理ネットワークに接続する場合)
・(Option):PC(Windows / Mac / LinuxいずれかのOSで、容量に25GB以上の空きがあるもの)
※Jetpack SDKインストールにSDK Managerを用いる場合にはPCを使用します。
◆ソフトウェア要件
・Jetson AGX Thor開発者キットユーザーガイドの手順に従って、JetPack 7.1(Jetson Linux 38.4)をインストールします。
※インストール手順については、「Jetson AGX Thor 開発者キット入門:最短セットアップからAI推論の動作確認まで」記事もご参考ください。
※インストール完了後、Jetson AGX Thor開発者キットをインターネットに接続してください。
◆Webブラウザ(Chromium)のインストール
・Jetson AGX Thor開発者キット起動後に、Ubuntu App CenterからChromiumをインストールしてください。
APIキー & トークンの生成
◆NGC APIキー生成
①https://ngc.nvidia.comにアクセスし、右上隅にある”Welcom Guest”をクリックし、アカウントの「新規登録」或いは、既にアカウントをお持ちの場合は「ログイン」してください。
②ログイン後、右上隅にあるユーザー名をクリックし、「Account Settings」を選択してください。
③”Keys & Secrets”から、「Generate API Key」をクリックしてください。
④”API Keys”画面が開きましたら、「+ Generate Personal Key」をクリックしてください。
⑤”Generate Personal Key”セッティング画面が開きますので、Kye Name*、Expiration*、Key Permissions*を設定してください。
※Key Permissionsは、「NGC Catalog」を選択してください。
⑥生成されたAPIキーはすぐにコピーし、保存しておいてください。
◆Hugging Face アクセストークンの生成
①Hugging Faceにアクセスし、アカウントの「新規登録」或いは、既にアカウントをお持ちの場合は「ログイン」してください。
② Access Tokensにアクセスし、読み取り権限を持つトークンを作成します。
③生成されたトークンはすぐにコピーし、保存しておいてください。
1. Jetson AGX Thor 開発者キットの初期設定
◆Linux カーネルのネットワーク関連の設定
sudo ls -l /etc/sysctl.d
sudo bash -c "printf '%s\ n' \
'net.ipv6.conf.all.disable_ipv6 = 1' \
'net.ipv6.conf.default.disable_ipv6 = 1' \
'net.ipv6.conf.lo.disable_ipv6 = 1' \
'net.core.rmem_max = 5242880' \
'net.core.wmem_max = 5242880' \
'net.ipv4.tcp_rmem = 4096 87380 16777216' \
'net.ipv4.tcp_wmem = 4096 65536 16777216' \
> /etc/sysctl.d/99-vss.conf"
sudo sysctl --system
◆Jetson Thorのパワーモード及び、動作クロック設定
# Set max power mode
sudo nvpmodel -m 0
上記コマンド入力後、システムを再起動します。
# Set max clocks
sudo jetson_clocks
◆キャッシュクリーナーの設定
キャッシュクリーナースクリプトを作成し、バックグランドで実行します。
sudo tee /usr/local/bin/sys-cache-cleaner.sh << 'EOF'
#!/bin/bash
# Exit immediately if any command fails
set -e
# Disable hugepages
echo "disable vm/nr_hugepage"
echo 0 | tee /proc/sys/vm/nr_hugepages
# Notify that the cache cleaner is running
echo "Starting cache cleaner - Running"
echo "Press Ctrl + C to stop"
# Repeatedly sync and drop caches every 3 seconds
while true; do
sync && echo 3 | tee /proc/sys/vm/drop_caches > /dev/null
sleep 3
done
EOF
sudo chmod +x /usr/local/bin/sys-cache-cleaner.sh
sudo -b /usr/local/bin/sys-cache-cleaner.sh
◆NGC APIキー & Hugging Face トークンのエクスポート
# Set your NGC API key
export NGC_CLI_API_KEY='your_ngc_api_key'
export NVIDIA_API_KEY='your_ngc_api_key'
# Set your Hugging Face token
export HF_TOKEN='hf_your_token_here'
”APIキー & トークンの生成”手順で生成した、NGC API キーと、Hugging Face トークンをそれぞれ設定してください。
2. Docker のインストール
Dockerのバージョンは、28.3.3以降かつ、29.5.0以前のバージョンを使用する必要があります。
①Jetpack SDKのデフォルトインストールでは、上記以外のバージョンがプリインストールされている可能性がありますので、下記コマンドで一度Dockerをアンインストールします。
sudo apt remove $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc docker-buildx podman-docker containerd runc | cut -f1)
②Docker のaptリポジトリを設定します。
# Add Docker's official GPG key:
sudo apt update
sudo apt install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
# Add the repository to Apt sources:
sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
sudo apt update
③Dockerパッケージのインストール
※下記コマンドで、Dockerバージョン:29.5.0を指定してインストールします。
VERSION_STRING=5:29.5.0-1~ubuntu.24.04~noble
sudo apt install docker-ce=$VERSION_STRING docker-ce-cli=$VERSION_STRING containerd.io docker-buildx-plugin docker-c
④インストール後、Dokcer が実行されていることを確認してください。
Dockerが実行されていない場合は、手動で起動してください。
sudo systemctl status docker
sudo systemctl start docker
⑤sudo なし(非Rootユーザー)でDockerを実行するために、下記コマンドを実行します。
sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker
⑥Dockerデーモンの設定ファイル(/etc/docker/daemon.json)を編集します。
設定ファイルに下記を追加します。
"exec-opts": ["native.cgroupdriver=cgroupfs"]
⑦編集を有効にするためにDockerを再起動します。
sudo systemctl daemon-reload
sudo systemctl restart docker
3. NVIDIA Container Toolkitのインストール
NVIDIAコンテナを実行するには、NVIDIA Container Toolkitが必要になります。
下記コマンドを実行して、NVIDIA Container Toolkitのインストールします。
#前提条件となるソフトウェアのインストール
sudo apt-get update && sudo apt-get install -y --no-install-recommends \
ca-certificates \
curl \
gnupg2
#リポジトリの設定
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
#NVIDIA Container Toolkitパッケージのインストール
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
sudo apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
4. NGC CLIのインストール
①NGC CLIをダウンロードして、インストールします。
curl -sLo "/tmp/ngccli.zip" https://api.ngc.nvidia.com/v2/resources/nvidia/ngc-apps/ngc_cli/versions/4.10.0/files/ngccli_arm64.zip
sudo mkdir -p /usr/local/bin
sudo unzip -qo /tmp/ngccli.zip -d /usr/local/lib
sudo chmod +x /usr/local/lib/ngc-cli/ngc
sudo ln -sfn /usr/local/lib/ngc-cli/ngc /usr/local/bin/ngc
②NGC CLI にAPIキーを設定する
※”APIキー & トークンの生成”手順で生成した、NGC API キーを使用します。
ngc config set
5. サンプル動画とデプロイパッケージのダウンロード
①サンプル動画のダウンロード
# Download sample data
ngc registry resource download-version nvidia/vss-developer/dev-profile-sample-data:3.2.0
EXTRACT_DIR=./sample-data
mkdir -p "${EXTRACT_DIR}"
tar -xf dev-profile-sample-data_v3.2.0/dev-profile-sample-data.tar.gz -C "${EXTRACT_DIR}"
rm -rf dev-profile-sample-data_v3.2.0
②デプロイパッケージのダウンロード
sudo apt-get install git-lfs
git clone https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization.git
cd video-search-and-summarization
git checkout tags/v3.2.1
git lfs install
git lfs pull
6. LLM(Nemotron Nano 9Bモデル)起動とエージェントワークフローのデプロイ
デプロイ実行スクリプト(deploy/docker/scripts/dev-profile.sh)を使用して起動します。
※起動には数十分かかります。正常起動すると、「[INFO] State up completed」と表示されます。
deploy/docker/scripts/dev-profile.sh up -p base \
--hardware-profile AGX-THOR \
--llm nvidia/NVIDIA-Nemotron-Nano-9B-v2-FP8
7. エージェントUIへアクセス
①Webブラウザ(Chromium)を立ち上げて、URLに http://<HOST_IP>:7777 を入力し、UIを起動します。
※<HOST_IP>は、ifconfigコマンドで適宜ご確認ください。
②サンプル動画のアップロード
「+ Upload Vide」アイコンをクリックし、動画ファイルを指定します。
各動画ファイルは下記ディレクトリにあります。
”sample-data/dev-profile-sample-data/warehouse_safety_0001.mp”
③動画ファイル名が正しく選択されていることを確認し、「Upload(1)」をクリックします。
続いて、画面右下のチャットアイコンをクリックし、チャットウィンドウを開きます。
④アップロードした動画についてエージェントに質問します。
例1)Is the worker wearing PPE?
⑤同様にして追加の質問をしてみましょう。
例2)When did the worker climb up the ladder?
サンプル動画を再生し、確認してみるとエージェントが回答した0.6秒~5.6秒付近で作業員が踏み台を上っているところが確認できます。
⑥レポートを生成する
エージェントに動画に関するレポートを作成するよう依頼することもできます。
例3)Can you generate a report for this video?
⑦最後にDockerコンテナをシャットダウンし、完了します。
./deploy/docker/scripts/dev-profile.sh down
まとめ
エッジAIデバイスの高性能化や、LLMモデルの小型/最適化により、Jetson単体でも⽣成AIと映像解析AIを組み合わせた アプリケーションの実装が可能となりました。
これにより、用途やニーズに合わせたAIエージェントの導入が実現可能となります。
Jetsonを活用したエッジAIや、生成AI・映像解析AIの活用にご興味がございましたら、お気軽にお問い合わせください。