NVIDIA Jetson Orin Nano™ Super 開発者キットとは？ - 半導体事業

条件を指定して絞り込む

現在1985件がヒットしています。check

基礎 AI・人工知能 NVIDIA

コンパクトでありながら、より強力なAI性能を実現する「NVIDIA Jetson Orin Nano™ Super 開発キット」がリリースされました。既存のNVIDIA® Jetson Orin™ Nano開発者キットのハードウェアをベースとして、生成AI推論性能を1.7倍に向上させ、性能が70%アップして67 TOPになり、メモリ帯域幅も50％向上し、102GB/sとなります。

本記事では、Jetson Orin Nano Super 開発キットのセットアップやSuperモードの設定方法、生成AIデモの動作方法について解説します。

Jetson Orin Nano Super 開発者キット(Superモード)とは

従来のJetson Orin Nano 開発者キットでは、15Wモードで最大40TOPSのAI性能でしたが、Jetson Orin Nano Super 開発者キットでは、ソフトウェア(Jetpack SDK)のアップグレードにより、25Wモード(Superモード)をサポートし、最大で67TOPSのAI性能に引き上げることが可能となります。

つまり、従来のJetson Orin Nano 開発者キットを既にお持ちの方でも、対応するソフトウェアを利用することで、Superモードを適用した、Jetson Orin Nano Super 開発者キットの評価を行うことができるようになります。

Superモードを適用することにより、Jetsonモジュール内のCPUやGPU、DDRメモリのクロック速度を上昇させ、あらゆる主要な生成AIモデルや、コンピュータビジョンの処理能力を向上させることができます。

また、Jetpack SDK 6.2 の適用により、Jetson Orin NanoとOrin NXのプロダクトモジュールにおいてもSuperモードを利用することが可能です。

Jetson Orin Nano Super 開発者キットのセットアップ手順

ハードウェアの準備
ソフトウェアの準備
Superモードの設定

１：ハードウェアの準備

１．本記事では、SDK Managerを使用してセットアップします。

　　以下のような構成でホストPC(Linux:Ubuntu)にJetson Orin Nano（Super）開発者キットType-C USBポートとUSBケーブルで接続します。

　　Jetson Orin Nano (Super)開発者キットには、別途、microSDカード(64GB以上推奨)または、NVMe SSD(256GB以上推奨)が必要になります。

　　※生成AIデモを実行する場合は、NVMe SSD (256GB以上)をご利用いただくことをお勧めします。

２．メーカーサイトのガイドに従い、Force Recovery Modeで起動します。

３．Jetson Orin Nano (Super）開発者キットに付属のACアダプターを接続します。

４．ホストPCで以下のコマンドを入力し、Jetson Orin Nano(Super)開発者キットのUSBインターフェースが認識されていることを確認します。

 host$ lsusb

以下のように、“NVIDIA Corp.”の表示を確認します。

２：ソフトウェアの準備

１．メーカーサイトのガイドを参考に、ホストPCへSDK Managerをインストールします。

　 ※サポートされているホストPCのOS要件は、Ubuntu 20.04 、Ubuntu 22.04、Ubuntu 24.04になります。

２．ホストPCから、下記コマンドを入力し、SDK Managerを立ち上げます。

　　※SDK Managerの実行には、NVIDIAのユーザー登録が必要になります。

 host$ sdkmanager

３．下図のように、STEP1ではJetPack 6.2と表示されていることを確認し、“CONTINUE”をクリックします。

４．次に、STEP2ではJetson SDK Componentsにチェックを付け、“CONTINUE”をクリックします。

５．途中で下図のウインドウが表示されますので、“Username”と“Password”を設定します。

　　“Storage Device“は、Jetson Orin Nano（Super）開発キットに別途接続した、SDカードまたは、NVMe SSDを選択してください。

６．書き込みが完了すると、下図のように“FINISH”が表示されます。

なお、上記のSDKManagerを用いたファームウェアの書き込み方法の他に、ホストPCが不要でSDカードイメージのみを使用した書き込み方法もございますので、こちらのメーカーサイトをご参考ください。

３：Superモードの設定

Jetson Orin Nano（Super）開発者キットで、Superモードの設定を行います。

１．右上の"Power表示"のところを左クリックし、"Power mode"から、“MAXN SUPER”を選択することで、Superモードへ移行することができます

２．同様にして、"Run Jetson Power GUI"を選択すると、Jetson Orin Nano(Super)開発者キットの構成内容が確認できます。

　　CPUやGPU Freq(MHz)は、Jetsonの動作状況によって変動しますが、Superモードの周波数上限値である、≒1.7GHzが確認できるかと思います。

生成AIデモ動作手順

NVIDIA Jetson AI LabのSmall LLM(SLM) デモを参考に、セットアップしてきます。

１：Jetson Orin Nano Super開発者キットの初期設定セットアップ

Jetson向けの様々な生成AIデモは、NVIDIA社が提供しているJetson向けのDockerコンテナイメージ(jetson-containers)にて提供されています。これらを利用するための設定を行います。

Ubuntuユーザーはデフォルトではグループに含まれていないため、下記コマンドでDockerグループにユーザーを追加します。

sudo apt get update
sudo usermod -aG docker $USER
newgrp docker

Dockerコンテナを構築する場合、GPUを使用できるように、構成ファイル(daemon.json)を以下のように修正します。

sudo vi /etc/docker/daemon.json

{

"runtimes": {

"nvidia": {

"path": "nvidia-container-runtime",

"runtimeArgs": []

}

"default-runtime": "nvidia"

}

続いて、下記コマンドでDockerコンテナのクローンとセットアップを実行します。

sudo systemctl daemon-reload && sudo systemctl restart docker 
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh

生成AIなどの大きなモデルを動作させる場合、Jetson Orin Nanoモジュールに実装されているRAMでは容量が不足するため、下記コマンドでZRAMを無効化し、スワップファイルを作成します。スワップファイルは、RAM容量が不足した場合に、SSDなどのストレージ領域の一部をRAMのように利用することができます。

sudo systemctl disable nvzramconfig
sudo fallocate -l 16G /mnt/16GB.swap
sudo mkswap /mnt/16GB.swap
sudo swapon /mnt/16GB.swap

２：小規模言語モデル(SLM)デモアプリの実行

次に、下記コマンドで小規模言語モデル(SLM)によるチャットアプリを実行します。

jetson-containers run $(autotag nano_llm) \ 
  python3 -m nano_llm.chat --api=mlc \ 
    --model princeton-nlp/Sheared-LLaMA-2.7B-ShareGPT 
    --max-context-len=512

アプリが立ち上がると、自動的にインタラクティブモードになりますので、コマンドプロンプトに質問を投げることができます。

今回は試しに、日本の旅行先について尋ねてみましょう。