- 半導体事業HOME
- マクニカの製品・サービス
-
技術情報
-
イベント・セミナー
- 取扱メーカー
- サポート
- お問い合わせ
- 製品購入はこちら
- 半導体事業のメルマガ登録
はじめに
生成AIや画像認識技術の進化に伴い、クラウドだけではなく、カメラやロボット、産業機器などのエッジ側でAIを動作させたいというニーズが広がっています。
SiMa.aiは、こうしたフィジカルAI向けにMLSoC™「Modalix」（以下、Modalix）と、ソフトウェア開発環境「Palette Neat」を提供しています。
Modalixは、CNNやViT、LLMなど幅広いAIワークロードをターゲットとしたMLSoCです。SiMa.aiはModalixを50 TOPS、10W未満のフィジカルAI向けプラットフォームとして展開しています。
本記事では、Modalixを実機で評価できるModalix SoM DevKit（以下、Modalix DevKit）と、その開発環境であるPalette Neatについて紹介します。
Modalix SoM DevKitとは？
Modalix SoM DevKitは、SiMa.aiのMLSoC™ Modalixを搭載したSoMを使用し、エッジAIアプリケーションの開発や評価を行うためのプラットフォームです。
SiMa.aiはModalix DevKitを、コンピュータービジョン、LLM、リアルタイムのマルチモーダル処理などのワークロードを評価するための開発プラットフォームとして位置付けています。
Modalixでは、AI処理を行うML Acceleratorに加え、8コアのArm Cortex-A65などを搭載しています。また、Modalix DevKitにはeLxr Linuxがプリインストールされています。
Vision AIから生成AIまで幅広いAIワークロードに対応しており、Modalix DevKitを使用することで、例えば以下のようなアプリケーションを実機上で評価できます。
- 物体検出や画像分類
- セグメンテーション
- 複数カメラを使用したVision AI
- LLM / VLMを使用した生成AI
- Vision AIと生成AIを組み合わせたアプリケーション
Modalix自体がVisionからGenAIまで幅広いAIモデルを対象としていることも特長です。
Palette Neatとは？
Modalix向けのAIアプリケーション開発を支援するソフトウェア環境がPalette Neatです。
Palette Neatは、モデルの準備、アプリケーションの構築、Modalix DevKit上での検証までをカバーするSiMa.aiのソフトウェア開発ツールキットです。
Palette Neatのソフトウェアスタック
主なコンポーネントとして、以下の4つがあります。
①Neat SDK
Neat SDKは、Modalix向けアプリケーションを開発するためのコンテナベースの開発環境です。
Host PC上のコンテナとして動作し、C++アプリケーション向けのクロスコンパイル環境、Neat Libraryのヘッダー、DevKitとの連携機能、Neat Insight、AIエージェント向けのコンテキストなどをまとめて利用できます。
Modalix向けの大規模なアプリケーション開発や、モデルの準備、DevKitを使用した検証をHost PC中心に行いたい場合の開発環境です。
②Neat Library
Neat Libraryは、Modalix上でAIアプリケーションを構築・実行するためのC++／Pythonランタイムライブラリです。
C++だけでなく、PythonからNeatを利用するためのPyNeatも提供されています。Palette Neatでは、Neat Libraryを使ってモデルを実行し、AIアプリケーションのパイプラインを構築します。
③Model Compiler
Model Compilerは、ONNXなどのAIモデルをModalixのML Acceleratorで実行可能な形式へ変換するためのツールです。
独自のAIモデルを使用する場合は、Model Compilerを利用して量子化やコンパイルを行います。
一方、後述するModel Zooなどから取得したコンパイル済みモデルを使用する場合は、Model Compilerをインストールせずに開発を始めることもできます。
④LLiMa
LLiMaは、Modalix上でLLM、VLM、ASRなどの生成AIモデルを扱うためのランタイムです。
SiMa.aiでは、生成AI向けのモデルを取得し、LLiMaを使用してModalix DevKit上で実行するための開発フローを提供しています。
Palette Neatの大きな特長「Agentic Development」
Palette Neatで特に注目したい特長が、AIエージェントを開発に利用できるAgentic Development Environmentです。
SiMa.aiはPalette Neatを、AIエージェントを活用してフィジカルAIアプリケーションの開発を支援する環境として位置付けています。
Neat SDKには、NeatのソースやサンプルなどをAIエージェントから参照しやすくするためのAgent-ready contextが用意されており、CodexおよびClaude Code向けのスキルが提供されています。
さらに、Neat SDK 2.1.2.3以降では、ブラウザから利用できるCode UIにCodexとClaude Codeの拡張機能がプリインストールされます。
そのため、Neat SDKの開発環境内でClaude CodeやCodexを利用しながらModalix向けアプリケーションを開発することができます。
AIエージェントによるGraph Surgery
Agentic Developmentの具体的な活用例の1つが、AIモデルに対するGraph Surgeryです。
Neat SDKには、Codex / Claude向けにsima-model-surgeryスキルが用意されています。
AIエージェントにモデルを解析させ、以下のような作業を支援させることができます。
- Model Compilerとの互換性を確認
- 必要なGraph変更を提案
- ONNX Graphを変更
- 変更後のモデルを検証
- 再コンパイルに向けてモデルを準備
SiMa.aiのドキュメントでは、特にYOLOモデルなどに対してGraph Surgeryを利用し、Model Compilerとの互換性向上やModalix向けのモデル出力最適化を行う例が紹介されています。
つまりPalette Neatでは、AIを実行するための環境だけでなく、AIを活用しながらAIアプリケーションを開発する環境も提供されています。
Host PC・Neat SDK・Modalix DevKitをつなぐDevKit Sync
Neat SDKでは、
Host PC → Neat SDK → Modalix DevKit
を連携させた開発環境を構築できます。
この開発フローを支える機能がDevKit Syncです。
DevKit Syncを利用すると、Host PC、Neat SDKコンテナ、Modalix DevKitから共通の/workspaceへアクセスできます。
アプリケーションのソースコード、ビルド結果、ログ、モデルなどを共有できるため、Host PCからDevKitへ毎回手動でファイルをコピーする必要がありません。
また、Neat SDK内ではdkコマンドを使用し、ペアリングされたModalix DevKit上でコマンドを実行できます。
Host PCでの開発とModalix DevKit上での実機評価をスムーズに繋げられる点も、Neat SDKの特長です。
Neat Insightとは？
Neat SDKには、Neat Insightというブラウザベースの開発・検証用UIが用意されています。
Neat Insightは特にVision AIアプリケーションの開発時に便利なツールで、以下のような動作をブラウザから行えます。
- workspace内のソースコードやモデル、生成物の確認
- テスト用動画・画像の管理
- 動画ファイルからRTSPストリームを生成
- AIアプリケーションから出力された映像の確認
- Object Detection、Classification、Pose Estimation、Segmentation、TrackingなどのMetadata表示
例えば物体検出アプリケーションを評価する場合、テスト用動画をNeat Insightへ登録してRTSPストリームを作成し、その映像をModalix DevKit上のAIアプリケーションへ入力できます。
AI処理後の映像と検出結果のMetadataをNeat Insightへ戻せば、Video Viewer上でBounding Boxなどを重畳した状態で確認できます。
つまりNeat Insightは、AIアプリケーションへのテスト入力の準備から、推論結果の確認までをブラウザ上で行うためのツールです。
まとめ
本記事では、SiMa.aiのModalix SoM DevKitとPalette Neatについてご紹介しました。
Modalix SoM DevKitでは、Vision AIからLLMなどの生成AIまで、幅広いフィジカルAIワークロードを実機上で評価できます。
Palette Neatでは、以下のような機能を組み合わせてModalix向けAIアプリケーションを開発できます。
- Neat SDKによるModalix向け開発環境
- Neat Library / PyNeatによるAIアプリケーション開発
- Model Compilerによるモデルの量子化・コンパイル
- LLiMaによるGenAIモデルの実行
- DevKit SyncによるHost PC・SDK・DevKitの連携
- Neat Insightによる映像や推論結果の確認
- Model Zooによるコンパイル済みモデルの利用
- Claude Code / Codexを利用したAgentic Development
特に、Palette Neatはモデルを実行するためのランタイムや開発ツールだけでなく、Claude CodeやCodexなどのAIエージェントを開発環境に組み込み、AIを活用した効率的なフィジカルAIアプリケーション開発を可能にしている点が特長です。
さらに、こうしたAIエージェントを開発プロセスに取り入れた「Agentic Development」に対応している点も、Palette Neatの大きな特長です。AIによるコード生成や開発支援を活用することで、開発者の作業負担を軽減し、アイデアから実装までのプロセスを効率化できます。
Modalix SoM DevKitを実際に使用してみたい方は、以下の記事でPalette Neatのセットアップ方法をご紹介しています。
お問い合わせ
製品の詳細・技術的なご質問・サンプル依頼・お見積りなど、まずはお気軽にご相談ください。