【試してみた】オープンソースのONNXモデルをHailoで動かしてみた - 半導体事業

条件を指定して絞り込む

現在1888件がヒットしています。check

設計 AI・人工知能マイコン・プロセッサー・DSP Hailo

はじめに

エッジデバイス向けのAI ProcessorであるHailo社の製品を使用するためには、Hailo製品に最適化されたバイナリーファイルを作成する必要があります。この記事ではその手順を紹介し、Pythonスクリプトを公開してています。

実際にそのPythonスクリプトを実行し、ディープラーニング開発フレームワークで学習したAIモデル(ONNXファイル)をHailoに変換し、ハイパフォーマンスを確認します。

使用ツール

Hailo社がDockerで提供している「Hailo AI Software Suite(2024-01)」を使用しています。

Hailo AI Software SuiteはHailo社の主要開発ツールが一つのパッケージに収まっており、インストールするだけで開発環境が構築できる便利なものとなっています。

Hailo社WebのDeveloper Zoneへ登録することで無償でダウンロード可能です。

Hailo社のツール関係は以下のようになっています。

左側のModel Build EnvironmentでONNXファイルからHEFファイル(Hailo Executable binary File)を作成し、HEFファイルを推論マシン(Runtime Environment)にコピーし、HailoRTのAPIを使って推論実行するフローとなります。今回公開のスクリプトは、まさにModel Build EnvironmentでONNXファイルからHEFファイルを作成するものです。

ONNXファイルからHEFファイル生成フロー

Hailo AI Software SuiteのDocker内に入っていただき、適当なフォルダーを作成します。そこに以下のファイルを保存します。

・対象のONNXファイル(ここではyolox_s_leaky.onnx)

・Pythonスクリプト(後述のソースコードをdfc_script.pyとして保存)

次にコマンドでPython実行するだけです。

$ python ./dfc_script.py

以下がスクリプトファイルの中身となります。ONNXモデルに合わせて「#Define model information」の部分を修正すれば他のモデルでも利用可能です。

※あくまでリファレンスとなっており、動作の保証はしていません

import numpy as np
import os
from hailo_sdk_client import ClientRunner
#Define model information
model_name = 'yolox_s_leaky'
onnx_path = 'yolox_s_leaky.onnx'
start_node = 'images'
end_node = ['Conv_197','Sigmoid_199','Sigmoid_200','Conv_213','Sigmoid_215','Sigmoid_216','Conv_229','Sigmoid_231','Sigmoid_232']
input_shape = {'images': [1, 3, 640, 640]}
chosen_hw_arch = 'hailo8'
input_height = 640
input_width = 640
input_ch = 3

alls_lines = [
    'model_optimization_flavor(optimization_level=0, compression_level=1)
',
    'resources_param(max_control_utilization=1.0, max_compute_utilization=1.0,max_memory_utilization=1.0)
',
    'performance_param(fps=250)
'
]
#Parsing
runner = ClientRunner(hw_arch=chosen_hw_arch)
hn, npz = runner.translate_onnx_model(onnx_path, model_name, start_node_names=[start_node], end_node_names=end_node, net_input_shapes=input_shape)
parsed_model_har_path = f'{model_name}_parsed_model.har'
runner.save_har(parsed_model_har_path)
#Optimize
calibData = np.random.randint(0, 255, (1024, input_height, input_width, input_ch))
runner.load_model_script(''.join(alls_lines))
runner.optimize(calibData)
quantized_model_har_path = f'{model_name}_quantized_model.har'
runner.save_har(quantized_model_har_path)
#Compile
hef = runner.compile()
file_name = f'{model_name}.hef'
with open(file_name, 'wb') as f:
    f.write(hef)
compiled_model_har_path = f'{model_name}_compiled_model.har'
runner.save_har(compiled_model_har_path)

※alls_linesへの入力表記がおかしくなっていますが、以下のように記載しています。
alls_lines = [
'model_optimization_flavor(optimization_level=0, compression_level=1)\n',
'resources_param(max_control_utilization=1.0, max_compute_utilization=1.0,max_memory_utilization=1.0)\n',
'performance_param(fps=250)\n'
]

※ソースコードは以下ボタンよりダウンロードしてご使用ください

Pythonスクリプトファイルのダウンロードはこちらから