NVIDIA Jetson :TensorRTの具体的なメリットは何ですか?
Jetson
TensorRTを活用することでFP32でトレーニングされた推論モデルを正確性を保ちながらINT8で動作するよう最適化をおこなうことが可能です。
上記により推論時の高速性能や電力効率向上が実現可能となります。
詳細は以下の資料をご覧ください。
https://www.macnica.co.jp/business/semiconductor/articles/nvidia/136485/