サイト内検索

はじめに

AI エージェントは、質問に答えるだけでなく、状況を理解し、必要なツールを呼び出してタスクを実行するところまで担えるようになってきました。NVIDIA 社は、こうしたエージェントをサンドボックス(※1)の中で動かすための基盤として、NVIDIA NemoClaw™(※2)を提供しています。さらに NVIDIA DGX Spark™(※3)を使えば、LLM(大規模言語モデル)の推論からエージェントの実行までを手元の 1 台で完結できます。

※1 サンドボックス:外部から隔離された安全な実行環境。
※2 NVIDIA NemoClaw:オープンソースで提供されているOpenClawやHermes AgentなどのAIエージェントと、AIエージェント向けの安全な実行環境である NVIDIA OpenShell™ を組み合わせたスタック。
※3
 NVIDIA DGX Spark:NVIDIA GB10 Grace Blackwell Superchip と 128GB の統合メモリを備えた、デスクトップサイズの AI スーパーコンピューター。

マクニカは、NVIDIA 社のパートナー企業(NPN:NVIDIA Partner Network)を対象とした「Japan NVIDIA NPN Partner Agentic AI Hackathon」に社内メンバーで参加し、「Smart Home Agent × Digital Twin on NVIDIA DGX Spark」をテーマに成果物を開発・発表しました。

本記事では、このハッカソンで開発した成果物として、AI エージェントが自然言語の指示を受けてミニチュアの家の機器やセンサーを操作・確認し、その状態を NVIDIA Omniverse™(※4)上のデジタルツイン(※5)にも反映するシステムについて、全体構成、使用した NVIDIA 社の技術、実装の工夫をご紹介します。

※4 NVIDIA Omniverse:NVIDIA社からオープンソースで提供されている、3D シミュレーション・デジタルツイン構築のプラットフォーム。
※5
 デジタルツイン:現実の物や空間を、仮想空間上に双子(ツイン)のように再現したもの。

取り組んだ課題とアプローチ

家に限らずオフィスや工場でも、機器やセンサーは 1 台ずつ別々に作られ、別々に操作されています。「暑い」「暗い」「人が来た」といった状況を読み取り、どの機器をどう動かすかに置き換えるのは、主に人の役目です。自動化しようとしても、機器ごと・場面ごとにルールを書き足し続けるしかありません。

つまり、機器全体を1つのシステムとして扱い、状況に応じて柔軟に判断する仕組みは、まだ十分に整っていないと言えます。私たちは、AI エージェントを活用すればこの課題を解決できるのではないかと考えました。そこで今回は、AI エージェントがすべての機器とつながり、状況を判断して制御するスマートホームを題材に選びました。

システム構成

システムは、①エッジ/デバイス、②エージェント+制御システム、③AI モデル、④デジタルツインの 4 層で構成しています。エッジ以外はすべて2台の DGX Spark 上で動作し、1台を LLM 専用、もう1台をエージェント・データベース・音声入力・Omniverse(デジタルツイン)用としています。クラウドには依存せず、すべての処理がローカルで完結します。

図1 システム構成

エッジのマイコンには、Texas Instruments(TI)社のワイヤレスマイコン CC3235MODSF(LaunchPad 開発キット)を採用しました。センサー、ファン、サーボモーター、LCD などを SPI・I2C・PWM・GPIO で制御するとともに、自ら Wi-Fi アクセスポイントとなって DGX Spark と通信します(マクニカでは TI 社の製品も取り扱っております)。

マイコンは1秒ごとに温度・湿度・各機器の状態を送信し、DGX Spark 上の送受信システムがそれをデータベース(DB:SQLite)に記録します。エージェントは、この送受信システムが公開する REST API を通じて、状態の確認と機器の操作を行います。使用した主な技術は表1のとおりです。

役割

使用した技術

ポイント

計算基盤

NVIDIA DGX Spark × 2

#1:エージェント・DB・Omniverse、#2:LLM 専用。全処理をローカルで稼働

推論

NVIDIA Nemotron™ 3.5 Lightning 30B-A3B(※6)、vLLM + DSpark(投機的デコード)(※7)

高スループットで応答のリアルタイム性を向上

エージェント

NVIDIA NemoClaw(OpenShell + OpenClaw)

1 つのエージェントからすべての機器を制御

デジタルツイン

NVIDIA Omniverse

設計内容の確認と、実物との動作連携

エッジ(マイコン)

TI CC3235MODSF LaunchPad

各機器を信号で制御。アクセスポイントとして DGX Spark と通信

データベース(DB)

FastAPI + SQLite

1 秒ごとの値を記録し、REST API で提供

音声入力

faster-whisper

話し終わりを検知し、文字起こし結果を自動送信

設計・開発

Claude Code(※8)、Blender

部品のモデリングからコーディングまで幅広く活用

表1 使用した主な技術



※6
 NVIDIA Nemotron 3.5 Lightning 30B-A3B:Nemotron は NVIDIA 社が公開しているオープンな LLM ファミリー。
  「30B-A3B」は、総パラメータ約 300 億のうち推論時に使うのは約 30 億である MoE(Mixture of Experts)構造を示す。
※7
 vLLM・投機的デコード:vLLM はオープンソースの LLM 推論エンジン。投機的デコードは、続くトークンを先に予測してまとめて検証することで、
  品質を保ったまま生成を速める手法。
※8
 Claude Code:Anthropic 社の AI コーディングエージェント。

実装のポイント

1. AI エージェントで、家中の機器を自然言語から操作する

エージェントの実行基盤には NVIDIA NemoClaw を使用しました。センサー値の確認から機器の操作まで、1つのエージェントがまとめて担当します。

図2 1つのエージェントが家中の機器をまとめて操作

家の機器は、送受信システムの REST API として公開しています。エージェントには「家を操作するスキル(※9)」を渡しました。


※9
 スキル:エージェントに渡す、特定の作業のやり方(使える API とその呼び方など)をまとめた手順書。今回は、各機器のAPI の呼び出し方などをスキルに記述した。

用途

API

ファンの回転(10〜100%)

POST /api/fan

ドアの開閉

POST /api/servo

カーテンの開閉

POST /api/servo2

LED の点灯

POST /api/led

LCD への表示

POST /api/lcd

現在の状態(温湿度・機器状態)

GET /api/telemetry/latest

表2 エージェントから呼び出す API


スキルに書いたのは、「ただいま」と言われたらドアを開ける、といった最低限の対応だけです。「暗いなぁ」と言われたら LED を点ける、といった判断は LLM に任せています。
細かいルールを網羅しなくても、エージェントが意図を汲んで動いてくれます。また、OpenShell の通信ポリシー(※10)により、エージェントのアクセス先を送受信システムだけに制限しています。

※10 OpenShell の通信ポリシー:エージェントが通信できる先を制限するルール。

あわせて、室温を監視する小さなプログラムも用意しました。室温が 30℃ を超えると、このプログラムがエージェントに「ファンを回して」と自然言語で依頼します。人が話しかけなくても、同じエージェントを経由して機器が自律的に動きます。

2. 実物と同期するデジタルツイン

デジタルツインには、「設計・動作検証に使う」「実物の状態を映す」という2つの役割を持たせました。

図3 デジタルツインで設計し、3D プリントした実物と同期
1. Claude Code で設計・動作検証

部品の写真やデータシートから3D アセットと家のモデルを作成し、スマートホームのデジタルツインを構築。そのデジタルツイン内で動作を検証しながら、エージェントのスキルを作成・調整しました。

2. 3D プリントで実物を製作

デジタルツインと同じモデルを印刷し、組み立てと機器の取り付けを行いました。

3. 実物の家とデジタルツインを同期

マイコンが1秒ごとに送る家の状態を送受信システムが DB に記録し、Omniverse 側が API で最新の状態を取得してデジタルツインの各部に反映します。これにより、ファン・ドア・LED・LCD などの状態が、実物の家と同期します。

デモ

発表では実機デモを行い、依頼から約5〜8秒で実物の家が動き、同じ状態がデジタルツインにも反映される様子をお見せしました。

依頼

エージェントの動作

実物の家とデジタルツイン

「カーテンを開けて」

カーテンを開ける指示

カーテンが開く

「ただいま」

意図を汲み、ドアを開ける指示

ドアが開く

「暗いなぁ」

意図を汲み、LED を点灯する指示

LED が点灯

(自律動作)室温が 30℃ 以上

監視プログラムからの依頼を受け、ファンの回転を指示

ファンが回転

表3 デモの内容

図4 「ただいま」でドアが開いた状態(左:Omniverse のデジタルツイン、右:実物の家)


「ただいま」や「暗いなぁ」のように機器名を含まない発話でも、エージェントが適切な機器を選んで操作できています。

今後の展望

今回のデモで示したのは、センサーと機器をすべて AI エージェントにつなぎ、エージェントが状況を判断して機器を操作し、その結果をデジタルツインにも反映させるするという構成です。この構成は家に限らず、さまざまな現場に応用できます。その適用先の一例が、工場のセンサーや機器をエージェントで管理する「工場マネージャーエージェント」です。NVIDIA 社からは、NVIDIA Factory Operations Blueprint (FOX) のような、NemoClaw で工場マネージャーエージェントを構成する例が発表されています。今回のデモとの対応を表4に示します。

要素

工場での構成例

今回のデモ

マネージャーエージェント

NemoClaw による工場マネージャー

NemoClaw によるハウスマネージャー

接続する対象

センサー・機器の信号

マイコンの値(1 秒ごと)と機器

指示の方法と安全策

自然言語 + OpenShell による制御

自然言語 + 通信ポリシー

モデルと計算機

ファインチューニングした Nemotron、NVIDIA DGX Station™(※11)

Nemotron 3.5 Lightning、DGX Spark

デジタルツイン

Omniverse デジタルツイン

Omniverse デジタルツイン

表4 工場マネージャーエージェントとの対応


※11
 NVIDIA DGX Station:DGX Spark より大規模なモデルの学習・推論に対応するデスクサイド型の AI スーパーコンピューター。

工場のほかにも、ビル、店舗、倉庫など、多くの機器やセンサーを抱える現場であれば、同じ構成を応用できると考えています。

今後は、デジタルツイン上でのテスト結果をもとに現実のシステムを改善する仕組みや、エージェントによるより高度な制御に取り組んでいきたいと考えています。

おわりに

本記事では、「Japan NVIDIA NPN Partner Agentic AI Hackathon」で作成した、NVIDIA DGX Spark 上で NVIDIA NemoClaw、Nemotron、NVIDIA Omniverse を組み合わせた「スマートホームエージェント × デジタルツイン」のデモをご紹介しました。すべての処理がローカルで完結し、すべての機器が AI エージェントにつながり、その状態をデジタルツインでも確認できるシステムを構築できることを確かめられました。

本記事が、AI エージェントやデジタルツインを活用したシステムを検討する際の参考となれば幸いです。マクニカは NVIDIA 社の正規代理店として、NVIDIA 社の製品・技術を、エッジから大規模 AI 基盤まで一貫してご提案・技術支援しています。AI エージェントやデジタルツインを活用することをご検討の際は、お気軽にマクニカまでお問い合わせください。

お問い合わせ