今回のデモについて

本記事では、Qualcomm IQ-9075を搭載した評価ボード「Dragonwing IQ-9075 EVK」上で、日本語対応LLM「Llama-3-ELYZA-JP-8B」をNPU (Hexagon HTP) で動作させたデモをご紹介します。80億パラメーターの日本語LLMが、手のひらサイズのエッジデバイス上でリアルタイムに日本語を生成する様子をお見せします。

量子化とは？

LLMは通常、各パラメーターを32bitの浮動小数点数 (FP32) で保持しています。8Bモデルの場合、FP32では約32GBのメモリが必要となり、エッジデバイスでの動作は困難です。

量子化は、パラメータの精度を下げることでモデルサイズと計算量を削減する技術です。今回は重みを4bit、アクティベーション（中間計算結果）を16bitに量子化する「w4a16」を採用しました。これにより、モデルサイズは約5.7GBまで圧縮され、エッジデバイスのメモリーに収まるようになります。

IQ-9075について

IQ-9075はQualcommの産業・IoT向けハイエンドSoCです。デュアルCDSP構成のHexagonプロセッサーを搭載し、NPU性能は100 TOP (INT8)。

8B規模のLLMをオンデバイスで実行できる処理能力を持っています。

Step 1：Qualcomm AI Hubでモデルエクスポート

Qualcomm AI Hubは、AIモデルをQualcomm SoC向けに最適化するためのクラウドサービスです。PyTorchやONNX形式のモデルをアップロードすると、量子化・コンパイルを自動で行い、デバイス上で実行可能なContext Binaryを生成してくれます。

# AI Hub経由でエクスポート（量子化 + HTPコンパイル）
python3 -m qai_hub_models.models.llama_v3_elyza_jp_8b.export \
    --target-runtime genie \
    --device "Dragonwing IQ-9075 EVK" \
    --output-dir ./export_output

このコマンドひとつで、以下の処理が自動的に行われます。

1. HuggingFaceからモデルの重みをダウンロード
2. w4a16量子化を適用
3. QCS9075のHTP向けにコンパイル
4. Context Binary（.binファイル）を生成

8Bモデルは一度にHTPにロードするにはサイズが大きいため、モデルを8つのパートに分割してコンパイルしました。これにより、各パートのサイズがHTPのバッファ制限内に収まり、安定して動作します。

Step 2：デバイスへのデプロイ

エクスポートが完了したら、生成されたContext BinaryとGenie SDKのランタイムライブラリをデバイスに転送します。

# SDKのランタイムを転送
adb push genie-t2t-run /data/qairt/bin/
adb push libGenie.so libQnnHtp.so ... /data/qairt/lib/
# モデルファイルを転送（合計約5.7GB）
adb push ./export_output/*.bin /data/elyza/
adb push ./export_output/*.json /data/elyza/

転送するファイルはGenie SDKの実行バイナリー・ライブラリ一式と、エクスポートで生成されたモデルファイル（Context Binary 8パート + 設定ファイル + トークナイザー）です。

Step 3：実行

Genie SDKに含まれる genie-t2t-run コマンドでモデルを実行します。

# 環境変数を設定して実行
export LD_LIBRARY_PATH=/data/qairt/lib
cd /data/elyza
genie-t2t-run --config genie_config.json --prompt_file prompt.txt

起動すると、HTPにモデルがロードされ、プロンプトに対する応答が生成されます。