ゴール

VSSをオンプレミスで動かす際に、デフォルトのLLMを変更し、かつ複数GPUを使ったデプロイの方法が理解できる。

対象

• VSSの導入に興味のある方
• VSSのオンプレミスでのデプロイに興味のある方
• VSSで自然な日本語を扱えるようにしたい方

本記事で扱う範囲

• VSSをオンプレミスでデプロイする方法
• VSSのオンプレミスでのデプロイにおいてデフォルトのLLMを変更する方法
• VSSのオンプレミスでのデプロイで複数GPUを用いる方法

ハードウェア

NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionを2枚搭載したワークステーション

※VSSのオンプレミスでのデプロイに必要なプラットフォームの情報は、こちらをご覧ください。：Supported Platforms — Video Search and Summarization Agent

LLMモデル

openai/gpt-oss-120b：gpt-oss-120b Model by OpenAI | NVIDIA NIM

前提条件

• Ubuntu 22.04
• NVIDIA driver：580.65.06以上
• CUDA：13.0以上 (CUDAドライバーはNVIDIAドライバーと同時にインストールされます)
• NVIDIA Container Toolkit：1.13.5以上
• Docker：27.5.1以上
• Docker Compose：2.32.4
• nvidia-smiコマンドで、搭載している全てのGPU（今回は2枚）が確認できている

※VSSバージョン2.4.1時点での情報です。適宜最新バージョンをご確認ください。：Release Notes — Video Search and Summarization Agent

ステップ①：VSSリポジトリをGitHubからクローン（初回のみ）

まず、VSSの公式リポジトリ（NVIDIA-AI-Blueprints/video-search-and-summarization: Blueprint for Ingesting massive volumes of live or archived videos and extract insights for summarization and interactive Q&A）をローカル環境に取得します。

git clone https://github.com/NVIDIA/video-search-and-summarization.git

ステップ②：NGC にログイン（初回のみ）

NIMのDockerコンテナを使用するために、NGCのAPIキーを設定します。

「Username」には「$oauthtoken」を、「Password」には「NGCのAPIキー」を入力してください。

※NGCのAPIキーをお持ちでない場合は、こちら（GPU-optimized AI, Machine Learning, & HPC Software | NVIDIA NGC）のWebページの右上「Welcome Guest」→「Sign In / Sign Out」からアカウント作成・ログインのうえ、「Setup」 →「Generate API Key」 → 「Generate Personal Key」でキーを作成してください。

※ログアウトしてしまった場合は、再度ログインしてください。

# NGCのAPIキーをパスワードに入れてログイン
docker login nvcr.io
Username: $oauthtoken
Password: <PASTE_API_KEY_HERE>

ステップ③：config.yaml を修正（初回のみ）

VSS全体の構成と依存関係を定義しているconfig.yamlを修正します。

具体的には、デフォルトで設定されているLLMのモデル名（meta/llama-3.1-8b-instruct）の記載がある部分を、openai/gpt-oss-120bに変更します。

# ディレクトリ移動
cd video-search-and-summarization/deploy/docker/local_deployment_single_gpu

# config.yaml内のLLMモデル名記載部分を変更
#変更前
chat_llm:
    type: llm
    params:
      model: meta/llama-3.1-8b-instruct #ここを変更
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7
  summarization_llm:
    type: llm
    params:
      model: meta/llama-3.1-8b-instruct #ここを変更
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7
  notification_llm:
    type: llm
    params:
      model: meta/llama-3.1-8b-instruct #ここを変更
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7

#変更後
chat_llm:
    type: llm
    params:
      model: openai/gpt-oss-120b #変更済み
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7
  summarization_llm:
    type: llm
    params:
      model: openai/gpt-oss-120b #変更済み
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7
  notification_llm:
    type: llm
    params:
      model: openai/gpt-oss-120b #変更済み
      base_url: "http://host.docker.internal:8007/v1"
      max_tokens: 2048
      temperature: 0.2
      top_p: 0.7

ステップ④：envファイルの追記・修正（初回のみ）

local_deployment_single_gpuディレクトリ内の.envファイルに以下の内容を追記します。

※VLMとしてCosmos-Reason2を使用する際に Hugging Face のアクセストークンが必要になります。

※Hugging Faceのアクセストークンをお持ちでない場合は、Hugging Faceでアカウント登録のうえ取得してください。

NGC_API_KEY=abc123*** #NGCのAPIキー
HF_TOKEN=hf_*** #Hugging FaceのAPIキー

ステップ⑤：環境変数の設定

以下のコマンドを実行します。

# NGC APIキーを設定
export NGC_API_KEY=<PASTE_API_KEY_HERE>
# NIMキャッシュディレクトリを設定
export LOCAL_NIM_CACHE="$HOME/.cache/nim"

ステップ⑥：LLMをGPU1でデプロイ

--gpus "device=1"のオプションを付けることで、GPU1を使うことを指定します。

docker run -d -u "$(id -u)" -it   --gpus "device=1"   --shm-size=16GB   -e NGC_API_KEY="$NGC_API_KEY"   -v "$LOCAL_NIM_CACHE:/opt/nim/.cache"   -p 8007:8000   nvcr.io/nim/openai/gpt-oss-120b:latest

ステップ⑦：Embedding NIMをGPU0でデプロイ

--gpus "device=0"のオプションを付けることで、GPU0を使うことを指定します。

docker run -d -u "$(id -u)" -it   --gpus "device=0"   --shm-size=16GB   -e NGC_API_KEY="$NGC_API_KEY"   -v "$LOCAL_NIM_CACHE:/opt/nim/.cache"   -p 8006:8000   -e NIM_SERVER_PORT=8000   -e NIM_MODEL_PROFILE="f7391ddbcb95b2406853526b8e489fedf20083a2420563ca3e65358ff417b10f"   -e NIM_TRT_ENGINE_HOST_CODE_ALLOWED=1   nvcr.io/nim/nvidia/llama-3.2-nv-embedqa-1b-v2:1.9.0

ステップ⑧：Reranker NIMをGPU0でデプロイ

--gpus "device=0"のオプションを付けることで、GPU0を使うことを指定します。

docker run -d -u "$(id -u)" -it   --gpus "device=0"   --shm-size=16GB   -e NGC_API_KEY="$NGC_API_KEY"   -v "$LOCAL_NIM_CACHE:/opt/nim/.cache"   -p 8005:8000   -e NIM_SERVER_PORT=8000   -e NIM_MODEL_PROFILE="f7391ddbcb95b2406853526b8e489fedf20083a2420563ca3e65358ff417b10f"   nvcr.io/nim/nvidia/llama-3.2-nv-rerankqa-1b-v2:1.7.0

ステップ⑨：VSSエージェント（VLMを含む） をGPU0でデプロイ

カレントディレクトリがlocal_deployment_single_gpuであることを確認して、以下のコマンドを実行します。

docker compose up -d

ステップ⑩：（必要に応じて）コンテナログから起動確認

ステップ⑨のコマンドを実行した後、以下のコマンドでコンテナのログを確認できます。

local_deployment_single_gpu-via-server-1のログを見て、Started server processが見えたら、http://<内部IPアドレス>:9100 か、http://localhost:9100 からGUIにアクセスできます。

docker logs -f local_deployment_single_gpu-via-server-1

VSS GUI 起動時の画面イメージ

停止

VSSを停止する際には、以下のコマンドでコンテナを停止/削除します。

# ディレクトリ移動
cd video-search-and-summarization/deploy/docker/local_deployment_single_gpu

# VSSエージェント（VLMを含む） を停止/削除
docker compose down

# LLM、Embedding NIM、Reranker NIMのコンテナを停止
docker stop <コンテナ名 または コンテナID>

# （必要に応じて）LLM、Embedding NIM、Reranker NIMのコンテナを削除
docker rm  <コンテナID>