執筆者

岩脇 秀隆
株式会社マクニカ　マクニカフィネッセカンパニー
技術統括部技術第５部 第２課

この記事でわかること

・IQ-9075で7B VLMがオンデバイスで動くのか、どれくらいの速度か

・Qualcomm AI Hubからのモデル入手方法

・Qualcomm GenieXでOpenAI互換APIとして推論する手順

・LLM APIとして使う手順

実行環境

IQ-9075のQualcomm Linux環境には、GenAIの推論スタックがボードのOSに最初から同梱されており、モデルさえ用意すればすぐ推論できるよう必要なランタイムが揃っています。同梱されている主なコンポーネントは次のとおりです。

テスト環境

要素	本記事での構成
ボード	Dragonwing IQ-9075 EVK (IQ9075-AA)
OS	Qualcomm Linux 2.0 (kernel 6.18.30)
モデル	Qwen2.5-VL-7B-Instruct (W4A16 Genie, Qualcomm AI Hub)
ランタイム	GenieX v0.3.13

Qwen2.5-VL-7B-Instructが要求するQAIRTバージョンは、本記事の検証時点で2.45です。OS同梱の2.47はこれを上回るため要件を満たします。
要件はモデル側の更新で変わりうるため、実際に取得したバンドルの metadata.json で確認します。

モデルの入手 (Qualcomm AI Hub)

モデルの取得はGenieX CLI経由でおこないます。AI Hubのモデルページの「Quick Start (Linux）」にGenieXのインストールコマンドと geniex infer ai-hub-models/Qwen2.5-VL-7B-Instruct が掲載されており、モデルは後述の geniex pull で自動取得されます（本記事もこの経路を使います）。
zipファイルを直接ダウンロードしたい場合は、同ページの「download the model」リンクから入手できます。

・モデルページ: Qualcomm AI Hub：Qwen2.5-VL-7B-Instruct

・サインイン不要

・デバイスはQCS9075 (IQ-9075)、runtime/precisionはGenie / W4A16

GenieXでの実行手順

GenieXは、Qualcommが公開するオンデバイス推論ランタイムです。Hugging FaceのGGUFモデルやQualcomm AI Hubのプリコンパイル済みバンドルをNPU/GPU/CPU上で実行でき、CLI・Python・OpenAI互換サーバといった複数のインターフェースを備えます。

AI HubのモデルページのQuick Startでは、単発で試すための geniex infer <model> が案内されています。本記事では、アプリやエージェントから継続的に叩けるよう、モデル取得 (geniex pull)とOpenAI互換サーバー (geniex serve) に分けて使います。

1. インストール
```
curl -fsSL https://qaihub-public-assets.s3.us-west-2.amazonaws.com/qai-hub-geniex/install.sh | sh
```
----------------------------------------------------------
2. チップセット設定 → モデル取得
```
geniex config set chipset qcs9075
geniex pull ai-hub-models/Qwen2.5-VL-7B-Instruct:w4a16
```
----------------------------------------------------------
3. OpenAI互換サーバの起動
```
geniex serve --host 0.0.0.0:18181
```
これで http://<board-ip>:18181/v1 にOpenAI互換エンドポイントが立ちます。
----------------------------------------------------------
4. 画像を投げてみる（VLM）
OpenAIのマルチモーダル形式そのままで、画像はimage_urlにbase64データURIで渡します。
```
{"model":"qualcomm/Qwen2.5-VL-7B-Instruct",
 "messages":[{"role":"user","content":[
   {"type":"text","text":"Describe this image in detail."},
   {"type":"image_url","image_url":{"url":"data:image/jpeg;base64,..."}}]}]}
```
OpenAI互換なので、任意のOpenAI互換クライアントをこのエンドポイントに向けるだけで使えます。

ブラウザのOpenAI互換クライアントから画像を送り、説明が返る様子を以下の動画で示します。

まとめ

本記事では、Qualcomm Dragonwing IQ-9075上で、Qualcomm AI HubとGenieXを使い、7B VLM (Qwen2.5-VL)の視覚言語理解をオンデバイスで動かしました。モデル取得からOpenAI互換サーバーの起動まで、数コマンドでクラウドに頼らずボード単体で画像を説明・質問応答できます。

・ボードのOSにGenAI推論スタックが同梱され、7B VLMが「モデル取得→サーバー起動」だけで動く
・推論がOpenAI互換APIとして出るので、クラウド前提のアプリ・エージェントの接続先をそのまま手元のエッジに向けられる。VLMだけでなくテキストLLMのクラウド代替にもなる

オンデバイスの生成AIがOS標準で回る時代が、IoT・組込み向けSoCで現実的になってきています。
Qualcomm SoC、GenieXやAI Hubにご興味をお持ちでしたら、お気軽にお問い合わせください。


参考リンク
・Qualcomm AI Hub : https://aihub.qualcomm.com/
・Qwen2.5-VL-7B-Instruct (AI Hub) : https://aihub.qualcomm.com/models/qwen2_5_vl_7b_instruct
・GenieX : https://aihub.qualcomm.com/geniex

お問い合わせ

本ページの内容に関するご質問や製品詳細情報をご希望の方はこちらからお問い合わせください。