Jetson内部の計算リソース

まず、Jetson内部の計算リソースについておさらいをしましょう。

リソースを最大限に活用するための方針

上記の表で、Jetson内部には多数の計算リソースが存在することを再確認いただいたと思います。これらを最大限活用するための方針は当然ながら、すべてのリソースを休ませることなく同時に動作させることです。

注：厳密に考えると、リソースの同時動作に制約が存在する場合（データバスの競合など）もありますが、まずは単純に考えて、全リソースの同時動作を目指すこととします。

リソースが2個の場合で考えてみましょう。以下、左側の場合は、CPU上のアプリケーションスレッドがGPUに逐一、処理の開始を命じる必要があり、その間、まとまった処理が実行できません。非NULLのCUDAストリームを使うと、一つ一つのGPU処理で同期を取る必要がなくなり、GPU上で処理が進んでいる間にも、アプリケーションスレッドで別のデータに対する処理が可能となります。

CUDAストリームに類似の仕組みがVPIにも用意されています。

ところが、以下のように処理A,B,Cが同じデータを扱っていると、CUDAストリームやVPIストリームでは対処できません。JetsonのCPUはマルチコアですので、処理Cを別のCPUスレッドに移せば効率の良い処理ができる可能性があります。

ソフトウェアパイプライン

上記で提案させていただいた方法が上手く機能するのは、下図のように、パイプライン化できる処理です。仮に各ステップの処理がそれぞれ異なる計算リソースで実行できるとすると、流れ作業で、各リソースをなるべく休ませないで実行することができます。

流れ作業の様子を表現したのが次の図です。

まとめ

最後に要点をまとめます。

・CUDA、VPIのストリーム機能やイベント機能は積極的に利用します。

・それでも、不十分な場合は、ソフトウェアパイプラインを設計、実装する。
このとき、マルチスレッドプログラミングは有効です。（POSIX Thread）

お困りのことがあれば、ぜひお問い合わせください

弊社ではハードウェアのNVIDIA GPUカードやGPUワークステーションの選定やサポート、また顔認証、導線分析、骨格検知のアルゴリズム、さらに学習環境構築サービスなどを取り揃えております。お困りの際は、ぜひお問い合わせください。