Jetsonビデオ処理プログラミング　第7話動画デコード - 半導体事業

条件を指定して絞り込む

現在2066件がヒットしています。check

設計 AI・人工知能ソフトウェアマイコン・プロセッサー・DSP モジュール NVIDIA

前回の動画エンコードに続いて、今回は動画デコードを取り上げさせていただきます。エンコードと同様、Jetsonは動画デコード専用のハードウェアアクセラレーター NVIDIA Video Decoder Engine（NVDEC）も内蔵します。Jetsonを効率的に利用するには、デコードはこのNVDECにより実行する必要があります。そのために利用できるAPIはエンコードの場合と同じくGStreamerとJetson Multimedia APIです。

[Jetsonビデオ処理プログラミング]

第1話　NVIDIA提供 JetPackとSDKでできること

第2話　ビデオ入力（CSI接続のLibargus準拠カメラ）

第3話　ビデオ入力（USB接続のV4L2準拠カメラ）

第7話　動画デコード

実装方法

NVDECによる動画デコードを実装する方法は以下のとおりです。

API	プログラミング言語	コメント
GStreamer	C Python	代表的なな選択肢実例も豊富マルチプラットフォーム
Jetson Multimedia API	C	詳細な設定が可能 V4L2準拠

GStreamerを利用

GStreamerパイプラインのプロトタイピング

エンコードの場合と同様に、gst-launch-1.0コマンドでデコード処理のプロトタイピングができます。

たとえば、H.264コーデックでエンコードされ、MP4コンテナに格納されているtest.mp4というファイルをデコードして、モニターへ表示するパイプラインは以下のとおりです。

gst-launch-1.0 -e \
filesrc location=test.mp4 ! \
qtdemux name=demux demux.video_0 ! \
queue ! \
h264parse ! \
nvv4l2decoder ! \
nvegltransform ! \
nveglglessink

GStreamer API

エンコードの場合と同様、コマンドラインでプロトタイピングの後は、GStreamer APIでアプリケーションへ組み込みます。

C API

Python API

OpenCVからGStreamerを利用

JetPackでインストールされるデフォルトのOpenCVはJetson固有のハードウェアアクセラレーターが有効になっていませんが、OpenCV VideoCaptureのバックエンドをGStreamerとすることで、OpenCVからNVDECによる高速動画デコードが利用できます。

appsinkプラグインで、デコードしたストリームデータをOpenCVへ渡すことができます。

import cv2
import sys
FILE = 'test.mp4'
GST_COMMAND = 'filesrc location={} ! qtdemux name=demux demux.video_0 ! queue ! h264parse ! nvv4l2decoder ! nvvidconv ! video/x-raw,format=(string)I420 ! videoconvert ! appsink'.format(FILE)
cap = cv2.VideoCapture(GST_COMMAND)
if not cap.isOpened():
    print("Cannot open stream")
    sys.exit()
while True:
    ret, frame = cap.read()
    if ret == False:
        break
    cv2.imshow("Test", frame)
    key = cv2.waitKey(1)
    if key == 27: # ESC
        break
cv2.destroyAllWindows()
cap.release()
sys.exit()