OpenCV + Gstreamer を使う

OpenCV で GStreamer を使うための Docker コンテナを作成したので、GStreamer を使ってカメラの画像を取得するところまで試してみました。 Docker コンテナの作成については以下の記事に書いています。 - [OpenCV + GStreamer の Docker コンテナを作成](https://kuttsun.blogspot.com/2021/11/opencv-gstreamer.html) # GStreamer の基本 私は Gstreamer を今回初めて使いました。 最初、GStreamer のことが全然分からず困っていたのですが、以下の記事がとても参考になりました。 - https://qiita.com/saxxos/items/e5b452502ad9aca3c997 # GStreamer の動作確認 OpenCV を使う前に、まずは GStreamer が使えるかどうか単体で試します。 ネットワークカメラから RTSP で画像を取得して表示します。 今回は Panasonic のカメラを使いました。 Docker コンテナ内で以下のコマンドを実行するとウィンドウが立ち上がり、カメラの画像が表示されれば OK です。 ``` gst-launch-1.0 rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! autovideosink ``` `decodebin` でデコードし、`autovideosink` 自動表示（画面上にウィンドウで表示）する感じみたいです。 ## OpenCV を使う 上記を踏まえ、OpenCV で GStreamer のクエリを指定する場合は、以下のように記述します。 ```py query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! videoconvert ! appsink' cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER) ``` `autovideosink` を `videoconvert ! appsink` に変更しています。 GStreamer の出力を OpenCV に入力するためには `appsink` が必要みたいです。 んで、`appsink` に送るためには `videoconvert` が必要みたいです。 これで `cap.read()` をコールすれば、フレームデータを取得できます。 ただし、このままだと遅延が酷かったので、`latency=0` を追加しました。 ```py query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 latency=0 ! decodebin ! videoconvert ! appsink' cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER) ``` とりあえずはこれで動作確認できました。 ちなみに、OpenCV を使わずにコンソールで `gst-launch-1.0` で直接実行する際に `latency=0` を指定すると、画像が乱れてまともに表示されませんでした。 ## 参考 URL - https://qiita.com/saxxos/items/e5b452502ad9aca3c997 - https://qiita.com/maueki/items/b54cbe5207bb16869756 - https://dev.classmethod.jp/articles/gstreamer-on-macos-video/ - http://lifestyletransfer.com/how-to-install-gstreamer-vaapi-plugins-on-ubuntu/