評価ボード

今回使用した評価ボードは、Infineon社製エッジAI向けMCUのPSOC™ Edgeが搭載された右図のボードになります。また、PSOC™ Edgeには下記の特徴があります。

・ARM Ethos-U55 : NPUで効率的なニューラルネットワーク演算

・Helium DSP : 効率的な信号処理の実行

・NNLite : 低消費電力でニューラルネットワーク演算が可能

　　　　　　（Infineon 独自のハードウェアアクセラレータ）

※この評価ボードは2025年3月時点で一般販売していません。
　ご興味ある方は下記よりお問い合わせください。

開発ツール

今回の開発では、学習モデルを作成するための「DEEPCRAFT™ Studio 」と、PSOC側の開発のための「ModusToolbox™」を使用しています。それぞれのバージョンは下記の通りです。

ModusToolbox™：5.2.2135.0 BETA
DEEPCRAFT™ Studio：3.3.0

ModusToolbox™についてはこちら

DEEPCRAFT™ Studioについてはこちら

今回実装するアプリケーション

マイクで収集した音声からキーワードを判定する音声識別アプリケーションを実装します。

【判定するキーワード】
・赤（"aka"）
・緑（"midori"）

実装フローの概要

全体の概要図は下図の通りになります。次の流れに沿って、各手順ごとに説明していきます。

データ収集・ラベル付け → データ管理 → データ前処理 → モデル構築 → モデル評価（統計値） → モデル評価（リアルタイム） → C言語コード生成

1. データ収集・ラベル付け

DEEPCRAFT™ StudioのGraph UXを使用してデータ収集・ラベル付けを行います。
今回は評価ボードに付属しているInfineon社製MEMS Micを使用していますが、PCのマイクからもデータを収集することが可能です。
また、作成したラベルを選択しながら録音することもできるので、データにラベル付けする手間も省くことができます。

データ収集・ラベル付けが完了したら保存をします。

PSOC用のStreamingサンプルプログラムはこちら

2. データ管理

ラベル付けしたデータセットをインポートします。それらのデータはTrain、Validation、Testに振り分けが行われますが、それぞれのイメージは下記の通りです。

• Train（学習用データ）
  　→ モデルに「勉強させる」ためのデータ
• Validation（検証用データ）
  　→ 勉強の「模試」にあたるデータ（練習問題）
• Test（評価用データ）
  　→ 「本番テスト」や「最終テスト」にあたるデータ
  
  

3. データ前処理

信号処理に使用する関数の機能ブロックを構築します。検出したいデータに合わせて構築するため学習モデルごとにノウハウが必要になりますが、パッケージとして用意されている機能ブロックもありますので、用途に応じて活用します。

　⇒サポートされる関数

データ前処理結果は下記の通りグラフィカルな確認が可能です。
上図左下のCreate Track from Preprocessor ボタンでデータ前処理した結果を出力できます。

4. モデル構築

ツールで用意されているニューラルネットワークを使用してトレーニングします。
本デモでは、Conv1D（Convolution-1D ：時系列データに効果的な軽量モデル）を選択しました。

※モデルネットワーク（レイヤーの配置）は、自分で定義することも可能

　⇒使用可能なレイヤー

5. モデル評価（統計値）

「4. モデル構築」でダウンロードした学習済みモデル（.h5形式）に関する統計値を確認できます。

6. モデル評価（リアルタイム）

Graph UXを使用してリアルタイムにモデル評価を行うことができます。
下記のように、実際に入力されたデータに対する推論結果がリアルタイムで表示されます。

7. C言語コード生成

実機による動作確認

モデルのデプロイを行います。

Teratermを使用して推論結果をPCに表示します。