サイト内検索

近年、防犯‧安全管理や設備監視、業務改善などを⽬的として、カメラ映像を活⽤する場⾯が急速に広がっています。⼀⽅で、監視対象となる映像は⻑時間かつ⼤量であることから 、⼈⼿だけで必要な情報を⾒つけ出すことは容易ではありません。


こうした課題を解決するために、NVIDIAは⽣成AIと映像解析AIを組み合わせた NVIDIA Metropolis Blueprint for Video Search and Summarization(VSS)を提供しています。VSSは、映像内の出来事を⾃然⾔語で検索したり、⻑時間の映像を要約したりすることで、映像活⽤の効率化を⽀援します。

最新バージョンであるVSS 3.2.1では、利⽤できる機能や対応するAIモデルがさらに拡充され、より幅広い映像解析に対応できるようになりました。
そこで本記事では、VSS 3.2.1で実際に利⽤できる主要機能に焦点を当て、各機能の概要や活⽤イメージ、画⾯例を交えながら 、VSSによってどのような映像解析が実現できるのかを紹介します。


なお、VSSの基本的な仕組みや環境構築については、これまでにマクニカで紹介してきた以下の記事もあわせてご参照く ださい。

VSSの仕組み

Video Search and Summarization(VSS)は、NVIDIAが提供する映像解析AIプラットフォームです。VSSでは、映像解析AI(Computer Vison:CV)と⽣成AI(Vision Language Model:VLM)を活⽤したAIエージェントが映像を理解し、ユーザーの指⽰に応じて映像検索や要約、質問応答、イベント通知などの処理を実⾏します。ユーザーは専⾨的な映像解析の知識がなくても、⾃然⾔語による直感的な操作で必要な情報へアクセスできるため、防犯‧安全管理や設備監視、物流、製造業など、さまざまな分野で映像活⽤の効率化を実現できます。

VSS 3.2.1の主要機能紹介

VSS 3.2.1では、⽣成AIと映像解析AIを組み合わせることで、映像を単に記録‧閲覧するだけではなく 、要約質問応答イベント通知といった⼀連のワークフローをAIが⽀援します。これにより、従来は⼈が⻑時間の映像を確認しながら ⾏っていた調査や報告、監視業務を効率化し、必要な情報へ迅速にアクセスできるようになります。また、各機能はAIエージェントを中⼼としたエージェントワークフローとして提供されており、ユーザーは専⾨的な映像解析の知識がなく ても、⾃然⾔語を⽤いた直感的な操作でAIを活⽤できます。

本章では、VSS 3.2.1で利⽤できる代表的な4つの機能について、それぞれの特⻑や活⽤⽅法を紹介します。

① ⾃然⾔語による映像検索

監視カメラの録画映像から ⽬的のシーンを探す場合、従来は録画時間やカメラごとに映像を確認しながら対象となる場⾯を探す必要がありました。映像の記録期間やカメラ台数が増えるほど、必要な情報へたどり着くまでに多くの時間を要します。VSSは、⾃然⾔語で⼊⼒された内容をAIエージェントが解析し、映像内の出来事や⼈物‧物体の特長をもとに検索を実⾏する機能を持っています。ユーザーは検索条件を細かく 設定することなく 、普段の会話に近い⽂章で検索を⾏うことができます。さらに、単純なキーワード検索だけではなく 、⼊⼒された内容をAIが解析し、動作やイベントを対象とした検索(Embed Search⼈物や物体の⾒た⽬属性を対象とした検索(Attribute Search、あるいはそれらを組み合わせたFusion Searchなど、検索内容に応じて最適な検索⽅式を⾃動的に選択します。そのため、ユーザーは検索⽅法の違いを意識することなく 、⽬的に応じた映像検索を実⾏できます。また、検索結果には該当する映像クリップだけでなく 、検出時刻や類似度などの回答に⾄るまでの根拠もあわせて表⽰されます。特定の期間や映像ソースを指定した絞り込み検索にも対応しており、⼤量の録画映像から ⽬的のシーンを効率よく抽出できます。

上図に⽰すように、⾃然⾔語による映像検索は以下の流れで実⾏できます。

  1.  検索条件の⼊⼒:⾃然⾔語で検索したいターゲットや事象の条件を⼊⼒します。
  2.  AIによる回答(要約):AIが検索結果を解析し、質問に対する回答を⾃然⾔語で要約して表⽰します。
  3.  回答の根拠を確認:各シーンの開始‧終了時刻や、AIの判定根拠(服装‧⾏動など)を確認できます。
  4.  該当シーンの⼀覧表⽰:質問に関連するシーンを抽出してサムネイルで⼀覧表⽰します。再⽣ボタンをクリックすると、該当箇所の映像を再⽣できます。

② ⻑時間映像の要約とレポート⽣成

監視カメラは24時間365⽇映像を記録し続けるため、映像全体の内容を把握するには多く の時間を要します。異常の有無を確認したいだけであっても、⻑時間の録画映像を確認する必要があり、監視担当者の負担は決して⼩さく ありません。VSSは⽣成AIを活⽤して映像全体を解析し、発⽣した出来事や重要なイベントを⾃然な⽂章で要約する機能を持っています。ユーザーは⻑時間の映像をすべて確認することなく 、短時間で映像全体の内容を把握できます。さらに、要約結果は⽂章だけでなく 、イベントごとの発⽣時刻や代表画像を含むレポートとして整理されます。これにより、「いつ‧どこで‧何が起きたのか」を視覚的に確認しながら 、必要な場⾯へ効率よくアクセスできます。

上図に⽰すように、⻑時間映像の要約とレポート⽣成は以下の流れで実⾏できます。

  1.  映像の追加:要約したい映像をアップロードするか、RTSPストリームを追加します。
  2.  映像の選択:サムネイルから内容を確認し、要約したい映像を選択します。
  3.  要約の指⽰条件の⼊⼒:⾃然⾔語で要約の指⽰や条件を⼊⼒します。
  4.  要約結果の概要:要約時に使⽤した対象物やプロンプトの内容、AIが⽣成した要約⽂が表⽰されます。
  5.  レポート出⼒:PDF形式やMarkdownで要約レポートをダウンロードできます。
  6.  映像の再⽣:要約時に根拠となった映像を再⽣し、詳細を確認できます。




また、⽣成された要約結果はPDF形式やMarkdown形式のレポートとして出⼒することも可能です。レポートには要約内容に加え、イベントの時系列情報やスナップショットなどがまとめられるため、監視結果の報告資料やインシデントの記録としてそのまま活⽤できます。映像を確認した担当者が内容を⼿作業で整理する必要がなくなり、情報共有や報告業務の効率化にもつながります。

③ 映像に対する質問応答

監視映像から 必要な情報を確認する場合、⽬的のシーンを検索した後も、映像を⾒返しながら内容を確認する作業が必要になることがあります。特に、複数の出来事が発⽣した⻑時間映像では、必要な情報を整理するだけでも時間がかかります。

VSSはAIエージェントとの対話を通じて、映像に関する質問へ⾃然⾔語で回答する機能を持っています。ユーザーはチャット形式で質問を⼊⼒するだけで、AIが映像解析結果やイベント情報をもとに回答を⽣成します。専⾨的な検索条件や操作を覚える必要がなく 、知りたい内容をそのまま質問できるため、映像の確認作業をより直感的に⾏えます。

また、この機能は単に検索結果を表⽰するのではなく 、映像の内容を踏まえて回答を⽣成する点が特⻑で す。検索や要約で得ら れた情報も活⽤しながら 、映像内で発⽣した出来事や対象物について対話形式で確認を進められるため、必要な情報へ効率よく アクセスできます。

さらに、質問と回答はチャット形式で時系列に保持されるため、⼀つの質問で終わるのではなく 、前の回答を踏まえて追加の質問を重ねることも可能です。映像を何度も⾒返すことなく 、対話を通じて状況を段階的に把握できることも、本機能の⼤きな特⻑です。

上図に⽰すように、映像に対する質問応答は以下の流れで実⾏できます。

  1.  映像の追加:質問したい映像をアップロードします。
  2.  映像の選択:サムネイルから 内容を確認し、質問したい映像を選択します。
  3.  質問の⼊⼒:⾃然⾔語で映像に関する質問を⼊⼒します。AIの回答に対して追加の質問を⾏うこともできます。
  4.  質問の表⽰:ユーザーが⼊⼒した質問がチャット形式で表⽰されます。
  5.  回答の表⽰:ユーザーの質問に対するAIの回答が、映像解析結果やイベント情報をもとに⽣成されて表⽰されます。

④ 条件に応じたアラート通知

監視カメラの映像を常に⼈が確認し続けることは現実的ではなく 、異常や重要なイベントを⾒逃してしまう可能性があります。そのため、必要なタイミングでユーザーへ通知を⾏い、迅速な対応につなげる仕組みが求められます。
VSSは映像をリアルタイムに解析し、あらかじめ設定した条件に⼀致するイベントを検知すると、ユーザーへアラートを通知する機能を持っています。イベントの発⽣を⾃動で監視することで、ユーザーは映像を常時確認することなく 、重要な出来事が発⽣したタイミングで状況を把握できます。実⾏画⾯では、検知したイベントごとに発⽣時刻や対象となった映像、関連するスナップショットなどが整理されて表⽰されます。通知されたアラートから該当する映像へ直接アクセスできるため、状況確認から 原因調査までをスムーズに⾏うことができます。

また、発⽣したアラートは履歴として管理されるため、リアルタイム通知だけでなく 、過去に発⽣したイベントの振り返りや対応状況の確認にも活⽤できます。監視業務だけでなく 、設備管理や運⽤記録など、継続的なイベント管理を⽀援する点も本機能の特⻑です。

上図に⽰すように、条件に応じたアラート通知は以下の流れで実⾏できます。

  1.  アラートの作成:通知してほしいアラートの内容を⾃然⾔語で⼊⼒することで、アラートを作成します。
  2.  アラートの概要:AIが作成したアラートの概要(対象ストリーム、検知内容、ステータスなど)が表⽰されます。
  3.  リアルタイム通知:アラート条件に該当する事象を検出すると、アラートが即時に⽣成されます。
  4.  履歴の⼀覧表⽰:過去に⽣成されたアラートを⼀覧で確認できます。⽣成時刻やアラートの種類、サムネイルから 当時の映像も確認できます。



ここまで紹介したように、VSS 3.2.1では映像を探す映像全体を把握する映像について対話するイベントをリアルタイムに検知するという4つのエージェントワークフローを利⽤できます。これらの機能はそれぞれ独⽴して利⽤できるだけでなく 、組み合わせることで映像の検索から状況把握、報告、監視までを⼀連の流れとして効率化できます。ユーザーは⽬的に応じて最適なワークフローを選択することで、監視業務や設備管理、インシデント対応など、さまざまな業務にAIを活⽤した映像解析を導⼊できます。

まとめ

本記事では、VSS  3.2.1で利⽤できる主要なエージェントワークフローとして4つの機能を紹介しました。

VSSは、⽣成AIと映像解析AIを組み合わせることで、映像を「探す」「要約する」「質問す」「通知を受ける」 という⼀連の業務を⽀援し、従来は多くの時間と労⼒を要していた映像確認やインシデント調査、監視業務の効率化を実現します。

また、⾃然⾔語による直感的な操作やAIによる情報整理により、専⾨的な映像解析の知識がなく ても必要な情報へ迅速にアクセスできるため、防犯‧安全管理だけでなく  、設備監視や業務改善など、さまざまな分野での活⽤が期待されています。

本記事で紹介した機能は、実際の映像や運⽤環境で体験することで、その効果をより具体的にイメージできます。VSSの詳細な導⼊⽅法や対応環境については、NVIDIAが公開している公式ドキュメントやBlueprintもあわせてご参照ください。

お問い合わせはこちら

「⾃社の監視業務にも活⽤できるのか」「現在利⽤しているカメラ環境で導⼊できるのか」といったご相談から 、PoC(概念実証)の実施、システム設計、導⼊⽀援まで、マクニカではお客様の⽤途や運⽤に合わせたご提案を⾏っています。

本記事でご紹介した機能は、実際の映像や現場環境でお試しいただく ことで、その有効性をより実感いただけます。VSSの評価をご検討中の⽅や、AIを活⽤した映像解析の導⼊をご検討中の⽅は、ぜひお気軽にマクニカまでお問い合わせく ださい。