Qualcomm AI HubにサインインしAPIトークンを設定する

AI Hubのアカウント設定ページで自身のAPIトークンを取得します。このトークンは後のステップで使用します。

※Qualcomm ID（Webサイトと共通）をお持ちでない場合は、こちらのページから作成してください。

仮想環境を起動する

本例では、miniconda を使いqai_hubという名称で仮想環境を起動します。

$ mkdir -p ~/miniconda3
$ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
$ bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
$ rm ~/miniconda3/miniconda.sh
$ source ~/miniconda3/bin/activate
(base) test@SDTEST:~$ conda create python=3.10 -n qai_hub
(base) test@SDTEST:~$ conda activate qai_hub
(qai_hub) test@SDTEST:~$

AI Hub の Python パッケージをインストールする

(qai_hub) test@SDTEST:~$ pip3 install qai-hub

qai_hubのminiconda環境を起動したターミナルからAI HubのAPIトークンを設定します。

(qai_hub) test@SDTEST:~$ qai-hub configure --api_token <自身のAPIトークン>

APIトークンの設定が完了したら、Pythonを起動、下記のようにAI Hubに対応するデバイス一覧を取得するモジュールを実行し、出力としてデバイス一覧が表示されることを確認します。

(qai_hub) test@SDTEST:~$ python
Python 3.10.18 (main, Jun  5 2025, 13:14:17) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import qai_hub as hub
>>> hub.get_devices()  # デバイス一覧が表示されます

これで AI Hub の事前設定は完了です。

YOLOv8-Detectionモデル用ライブラリーをインストールする

このコマンドを実行することで、設定したモデルに対して以降の処理を行う際に必要なPythonパッケージを自動でインストールします。

(qai_hub) test@SDTEST:~$ pip install "qai-hub-models[yolov8-det]"

モデルをエクスポートする

今回の例では、

・量子化を w8a8
・ターゲットランタイムを TensorFlow Lite
・デバイスを RB3 Gen2 (Proxy)

とし、以下のコマンドでQualcomm AI Hubで用意されているモデルexportのモジュールを実行します。

(qai_hub) test@SDTEST:~$ python -m qai_hub_models.models.yolov8_det.export \
  --quantize w8a8 \
  --target-runtime=tflite \
  --device "RB3 Gen 2 (Proxy)" \
  --output-dir /home/test/aihub/

exportモジュールの実行が成功すると指定したディレクトリにTensorFlow Lite形式(.tflite)のモデルが生成されます。

yolov8_det.tfliteというモデルが出力されますが、後のステップ簡略化のためファイル名はyolov8_det_quantized.tfliteに変更しておきます。 

(qai_hub) test@SDTEST:~/aihub$ ls
yolov8_det.tflite
(qai_hub) test@SDTEST:~/aihub$ mv yolov8_det.tflite yolov8_det_quantized.tflite
(qai_hub) test@SDTEST:~/aihub$ ls
yolov8_det_quantized.tflite

モデルの準備

前のステップでAI Hub経由でエクスポートしたYOLOv8のtfliteファイル(yolov8_det_quantized.tflite)をRB3 Gen2に転送します。 

(PC) $ adb push [任意のパス]/yolov8_det_quantized.tflite /etc/models

ラベルの準備

ラベルファイルはQualcommが提供しているものを活用します。

RB3 Gen2をネットワークに接続し、curlコマンドで必要なファイルのダウンロードスクリプトを取得、実行します。

（インターネットに繋がっているPCで必要なファイルをダウンロードしてからRB3 Gen2に転送することも可能です。）

(PC) $ adb shell
(RB3Gen2) # cd tmp
(RB3Gen2) # curl -L -O https://raw.githubusercontent.com/quic/sample-apps-for-qualcomm-linux/refs/heads/main/download_artifacts.sh
(RB3Gen2) # chmod +x download_artifacts.sh
(RB3Gen2) # ./download_artifacts.sh -v GA1.4-rel -c QCS6490

以下に示すように、/etc/labelsディレクトリーにラベルファイルのセットがダウンロードされています。このデモではyolov8.labelsを使用します。

(RB3Gen2) # ls /etc/labels/
cityscapes_labels.txt        imagenet_labels.txt
classification.labels        monodepth.labels
coco_labels.txt              posenet_mobilenet_v1.labels
deeplabv3_resnet50.labels    voc_labels.txt
face_detection.labels        yamnet.labels
face_landmark.labels         yolonas.labels
face_recognition.labels      yolov8.labels
hrnet_pose.labels            yolox.labels
hrnetpose.labels

動画ファイルの準備

このデモでは入力ソースとして動画ファイルを使用します。任意のmp4ファイルをRB3 Gen2の/etc/mediaに格納します。

今回は弊社で用意した動画ファイルを使用していますが、RB3 Gen2の/etc/mediaに入っているサンプル動画ファイルをご使用いただくこともできます。

使用する動画ファイルのパスに合わせて次のconfig_detection.jsonのfile-pathを修正してください。

JSONファイルの準備

設定用のJSONファイルはRB3 Gen2にデフォルトで入っている/etc/configs/config_detection.jsonを使います。

前述の通り、file-pathは任意のパスを指定します。また、このJSONファイルで先ほどのモデルやラベルファイルのパスも指定しています。

config_detection.jsonファイル例

{
  "file-path": "/etc/media/video.mp4",
  "ml-framework": "tflite",
  "yolo-model-type": "yolov8",
  "model": "/etc/models/yolov8_det_quantized.tflite",
  "labels": "/etc/labels/yolov8.labels",
  "constants": "YOLOv8,q-offsets=<21.0, 0.0, 0.0>,q-scales=<3.0546178817749023, 0.003793874057009816, 1.0>;",
  "threshold": 40,
  "runtime": "dsp"
}

これでデモの準備は完了です。

サンプルアプリ実行

RB3 Gen2をHDMIケーブルでディスプレイに接続し、グレーの花模様の背景画面が表示されていることを確認します。

下記のコマンドでサンプルアプリ(gst-ai-object-detection)を実行します。

コマンド実行例

(RB3Gen2) # gst-ai-object-detection --config-file=/etc/configs/config_detection.json

入力した動画にYOLOv8の検出対象となる物体を囲むバウンディングボックスが描画された状態でディスプレイに表示されます。

以上のように簡単にYOLOモデルを用いた物体検出アプリケーションをエッジデバイスで実行することができました。

今回使用したgst-ai-object-detectionアプリケーションのソースコードはOSSとして公開していますので、用途に合わせてカスタムいただけます。