①　ニューラルネットワークモデルの開発

クラウドAI/エッジAI/エンドポイントAI全てに共通することですが、ディープラーニングの仕組みを使うAI処理をおこなうためには、ニューラルネットワークモデルが必要となります。

このニューラルネットワークモデルは、ディープラーニングフレームワークと呼ばれる、AI開発をおこなうためのソフトウェアライブラリーを使って、定義・生成します。

これに対して大量の学習用データセットを利用してトレーニング（学習処理）を行うことで精度を向上させることができる仕組みになっています。

エンドポイントAIの一例であるLattice FPGAの場合も、他のAI開発と同様に、ディープラーニングフレームワーク上でニューラルネットワークモデルを生成しています。

②　モデルデータをFPGAが読み取れる形式に変換

生成したニューラルネットワークモデルをFPGA上に実装します。

Lattice社のFPGAを使用する場合、Lattice社が提供している専用のコンパイラーツールを使用して、ニューラルネットワークモデルデータをバイナリーデータへ変換します。

これをハードウェア上のRAM領域等へ格納しておき、FPGAがデータを読み取れる状態にします。

③　IPコア（推論エンジン）をFPGA上へ実装

実際に推論動作をおこなうためには、FPGA上で動作する推論エンジンが必要です。

Latticeの場合、推論エンジンとしてCNN Accelerator IPコアというものが提供されています。

これを、設計ツールにて実装することでFPGA上でIPコアが動作し、ニューラルネットワークモデルを変換して生成したバイナリーデータを参照できるようになります。

※Lattice FPGA上でAI推論動作を行う場合、CPUコアによる制御は不要で、全てハードウェア処理でAI推論動作をおこなっています。
　CPUによるソフト処理は柔軟性には優れますが、ある程度処理時間が必要で、それをカバーするためにはより高性能なコアを使用する必要が出てきます。
　一方、ハードウェア処理の場合、使用できるモデルに制限が出てきますが、処理時間は似たような規模のCPUに比べると速くなります。

④　IPコア周辺のFPGA回路設計

推論動作をおこなうためには、IPコアへの推論用データの入力とIPコアから出力された推論結果を、後段回路やシステムを考慮して適切な形に前処理・後処理することが必要です。これら前処理と後処理にはFPGAハードウェア設計が必要となります。

下記はCMOSセンサーで取得した画像の中に人が検出されればLEDが点灯される例を示しています。

具体的には、CMOSセンサーからの入力をダウンスケーリングしてIPコアへ入力する前処理と、IPコアから出力される推論結果を判定してLED ON/OFFを制御する後処理が必要になります。このような回路をFPGA内部に作成する必要があります。

開発支援ツール"smAILE Express"とLattice FPGA評価ボードを用意する

マクニカではLattice向けAI開発支援ツールである「smAILE Express」というものを用意しています。

Windows PCにこちらをインストールし、評価ボードとUSBケーブルで接続することで、簡単にニューラルネットワークモデルの評価環境を構築することが可能です。

FPGA内をブロック図にすると次のようになります。

IPコアやニューラルネットワークモデルデータからツールからFPGAへ展開されます。

また、IPコアの前後で必要な前処理と後処理は、ツール内で実施させることができます。

これにより、煩雑なFPGA設計をすることなく、評価を開始することができます。

任意の画像に対する推論結果を確認する

smAILE Expressを使用して、推論結果のパフォーマンスを確認します。

下記は、実際に手書きの数字認識を実施した際のツールGUIです。

推論に使用したデータに対して、結果が定量的に示されており、具体的な精度を確認することが可能です。

また、実際に推論に要した時間も確認することができ、エンドポイントでのAIパフォーマンスを評価することができます。

この評価をsmAILE Expressで行うために必要なのは下記の３種類のファイルのみです。