サイト内検索

監視カメラの生成AI活用事例 ~YOLO×VLMで実現するリアルタイム映像解析の仕組みを解説~

監視カメラは「記録する」から「映像を理解する」時代へ

近年、防犯や安全管理、設備監視などを目的として、工場や物流施設、商業施設、公共施設など、様々な場所で監視カメラが活用されています。

さらに現在では、映像を記録するだけでなく、AIによってカメラ映像をリアルタイムに解析する活用も広がっています。

 

実際、2024年度の監視カメラ・システム国内総市場規模は前年度比112.8%2,254億円と、拡大傾向にあります(※)。

市場拡大をけん引している要因の一つが、AIを活用した画像解析です。同調査では、AI解析機能を搭載したエッジAIカメラの普及や、現場で映像を即時処理するリアルタイム解析の広がりが示されています。

※出典:矢野経済研究所「監視カメラ/システム国内市場に関する調査を実施(2025年)」

 

こうしたAI映像解析では、YOLOなどの物体検出モデルを活用することで、人物や車両、特定の物体などをカメラ映像から自動的に検出できます。

これにより、人がすべての映像を常時確認するのではなく、AIが確認すべき場面をリアルタイムに検知するといった活用が可能になります。

 

一方で、物体検出によって「何が映っているか」は把握できても、その物体がどのような状況で存在しているのかまで判断することは難しい場合があります。

例えば、同じ物体が検出された場合でも、その物体を人が所持しているのか、周囲にはどのような人や物体が存在するのかによって、確認すべき状況は異なります。そのため、物体を検出するだけでなく、周囲の状況まで含めて映像を理解することが重要になります。

 

そこで今回ご紹介するのが、物体検出とVLM/LMMなどの生成AIを組み合わせた映像解析です。

物体検出によって確認すべき場面をリアルタイムに検知し、さらに生成AIによってその映像を分析することで、「検知」から一歩進んだ「状況理解」までAIで支援します。

 

本記事では、SiMa.aiAIプラットフォーム上で動作するデモをもとに、その仕組みと活用可能性をご紹介します。

物体検出×生成AIで映像解析はどう変わる?

従来の物体検出では、カメラ映像から人物や車両、特定の物体などを検出し、「何が、どこに存在するのか」をリアルタイムに把握することができます。

一方、VLM(Vision Language Model)LMM(Large Multimodal Model)などの生成AIは、画像と自然言語を組み合わせて処理できるため、映像に含まれる人物や物体だけでなく、それらの関係性や周囲の状況まで自然言語で説明できます

 

これらを組み合わせることで、物体検出を起点に、確認が必要な映像をVLM/LMMでさらに詳しく分析できます。
その処理の流れを整理すると、以下の通りです。

 

① カメラ映像を物体検出モデルでリアルタイムに解析
② 対象となる物体を検出
③ 検出されたフレームをVLM/LMMで分析
④ 映像内の状況を自然言語で出力

 

つまり、物体検出が「確認すべき場面を見つける」役割を担い、VLM/LMMが「その場で何が起きているのかを理解する」役割を担います。

単に物体の有無を検知するだけでなく、人物や物体の関係性、周囲の状況までAIで把握できることが、今回の映像解析のポイントです。

デモ動画で見る、物体検出×生成AIによる映像解析

それでは実際に、SiMa.aiのAIプラットフォーム上で動作する映像解析デモを見てみましょう。(英語の動画になります)

今回のデモでは物体検出と生成AIを組み合わせた映像解析の一例として、危険物などの検知を想定し銃器を検出対象としています。

カメラ映像から対象物をリアルタイムに検出し、さらに生成AIによってその場の状況まで分析する一連の流れをご覧いただけます。

それでは、動画の中でどのような処理が行われているのか、順番に見ていきましょう。

①複数のカメラ映像から対象物をリアルタイムに検出

まず、カメラから入力された映像をYOLOなどの物体検出モデルによって継続的に解析します。

デモでは、映像内に銃器が現れるとAIが対象をリアルタイムに検出し、画面上に検出結果を表示します。こうした映像解析を、最大16チャンネル・VGA・30fpsで並列処理できます。

複数のカメラ映像をエッジ側で同時に解析することで、クラウドでの処理を待つことなく、その場で対象物を検出できます。多数のカメラが設置された環境でも、AIが映像を継続的に解析し、人が確認すべき場面を効率的に絞り込むことができます。

②検出した場面を生成AIで分析・言語化

次に、対象物を検出した後の映像を生成AIでさらに分析します。

デモでは、銃器が検出されたフレームをGemmaモデルへ入力し、画像の内容を説明するよう指示します。

すると、単に銃器を認識するだけでなく、映像内にいる人物の人数や服装、所持している物体などを分析し、その内容を自然言語で出力します。

 

物体検出だけでは「銃器が存在する」という情報が中心となりますが、VLM/LMMを組み合わせることで、誰が、何を持ち、周囲がどのような状況なのかまで把握できるようになります。

これにより、AIが確認すべき場面を検知するだけでなく、その後の状況把握まで支援できます。

③録画映像から「映像の文脈」まで分析

さらに、こうした生成AIによる分析は、リアルタイム映像だけでなく録画映像にも活用できます。

デモ後半では、複数の人物が銃器を扱っている別の映像をVLM/LMMへ入力し、「50ワード以内で説明してください」と指示します。

するとAIは、「銃器を持った人物がいる」と認識するだけでなく、複数の人物が屋外で銃器のトレーニングを行い、インストラクターが参加者を指導している状況まで説明します。

 

ここでポイントとなるのが、同じ物体が映っていても、その場の状況によって映像が持つ意味は異なるという点です。

物体検出が「何が映っているのか」を捉えるのに対し、VLM/LMMを組み合わせることで、人物や物体の関係性を含め、「そこで何が起きているのか」という映像の文脈まで分析できます。

また、録画映像を必要に応じてAIに分析させたり、プログラムから自動的に分析したりすることで、過去の映像の状況確認や調査への応用も考えられます。

物体検出×生成AIの活用想定例

今回のデモでは銃器を検出対象としていますが、この仕組みのポイントは銃器そのものではありません。

「特定の対象をリアルタイムに検知し、必要な場面を生成AIでさらに詳しく分析する」という仕組みは、検出対象や分析内容を変えることで、日本国内のさまざまな現場への応用が考えられます。

◎製造現場での安全管理・作業状況の確認

製造現場では、作業者とフォークリフトや搬送ロボットなどが同じ空間で稼働するケースがあります。

例えば、物体検出によって人物や車両をリアルタイムに検出し、確認が必要な場面をVLM/LMMで分析することで、作業者と車両の位置関係や周囲の状況まで含めた安全確認への応用が考えられます。

また、ヘルメットや安全ベストなどの保護具、立入禁止エリアへの人物の侵入などを検出対象とすることで、安全ルールの確認にも活用できます。

単に「人」「車両」「保護具」を個別に検出するだけでなく、それらの関係性や周囲の状況まで分析できることが、生成AIを組み合わせるメリットです。

◎物流倉庫での人・車両・荷物の状況把握

物流倉庫では、作業者やフォークリフト、AMR、荷物など、多くの対象が同じ空間を移動しています。

物体検出によってそれぞれをリアルタイムに認識し、確認が必要な場面をVLM/LMMで分析することで、人と車両が接近している状況や、通常とは異なる場所に荷物が置かれている状況などを確認する用途が考えられます。

複数の対象物の位置関係や周囲の状況まで分析することで、単純な物体検出だけでは判断しにくい場面の確認を支援できます。

 

※AMRの仕組みや活用事例については、別の記事でも詳しくご紹介しています。
関連記事:自律移動ロボット/AMR活用事例 ~Visual SLAMとYOLOv8で実現するフィジカルAI~(デモ動画付き)

◎公共施設・商業施設での安全管理・状況確認

駅や商業施設、オフィスなど、多数のカメラが設置されている施設では、すべての映像を人が常時確認することは容易ではありません。

例えば、置き去りになった荷物など特定の対象を検出し、その映像をVLM/LMMで分析することで、周囲に人がいるのか、どのような状況で置かれているのかといった情報まで確認できます。

また、人物や特定の物体を検出した際に、その場の人数や周囲の状況を生成AIによって言語化することで、監視担当者による状況把握を支援できます。

まとめ:物体を「検知する」から、状況を「理解する」映像解析へ

今回ご紹介したデモでは、YOLOなどの物体検出モデルによるリアルタイム検知と、VLM/LMMによる映像の状況理解を組み合わせています。

物体検出によって確認すべき場面を見つけ、さらにその映像を生成AIで分析することで、何が映っているのかを検知し、そこで何が起きているのかを理解するという一連の映像解析が可能になります。

さらに、本デモでは最大16チャンネルの映像をVGA30fpsで並列処理しており、複数のカメラ映像をエッジ側でリアルタイムに解析できることも特徴です。

 

SiMa.aiのAIプラットフォームでは、YOLOなどを活用したリアルタイムの物体検出から、VLM/LMMによる映像の状況分析まで、様々なAI処理をエッジ環境で実行できます。

SiMa.aiのMLSoC™は、小型・低消費電力でありながら最大50TOPSの高効率推論を実現。クラウドとの通信に依存せず、映像の取得から物体検出、生成AIによる状況分析までをエッジ側で処理できることが特徴です。

  

 

ぜひ、AI活用の第一歩として本記事をお役立てください。

お問い合わせ

製品の詳細・技術的なご質問・サンプル依頼・お見積りなど、まずはお気軽にご相談ください。

SiMa.ai メーカー情報 Top へ

エッジAIユースケース集(デモ動画付き)

エッジAI導入のアイデアをお探しの方に、SiMa.aiのMLSoCを活用したデモを紹介しています