Telegraf で Jetson の GPU 情報を取得する

Telegraf で GPU 情報を取得しよううとしたのですが、Jetson には `nvidia-smi` のコマンドがありません。 どうしようかなと思っていたら、以下の記事に Jetson で GPU 情報を取得する方法が書いてありました。 - https://www.influxdata.com/blog/nvidia-jetson-series-part-1-jetson-stats/ これを参考に、InfluxDB にデータを保存し、Grafana で可視化まで行いました。 尚、TIG Stack (Telegraf, InfluxDB, Grafana) については以下を参考にしてください。 - https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html ## 環境 - Jetson Xavier NX - Ubuntu 18.04 - Telegraf 1.23.0 Telegraf, InfluxDB, Grafana は Docker で動作させています。 ## Jetson Stats のインストール まずはホストに Jetson Stats をインストールします。 ```sh $ sudo apt-get update $ sudo apt-get install python3-pip $ sudo -H python3 -m pip install -U jetson-stats ``` インストール後、一度ログアウト or 再起動します。 `jtop` を実行して動作確認します。 ## Telegraf の設定 Jetson Stats を使って GPU の情報を取得する python スクリプトを作成し、それを Telegraf から定期的に実行するようにします。 ただし、今回 Telegraf は Docker コンテナで動かしているので、上記の記事そのままでは上手く行きません。 ### Python スクリプトの作成 上記の記事にある以下のスクリプトを `jetson_stats.py` という名前で保存しました。 ```py # Import jtop python library. We will use this to access the Jetson_Stats service. from jtop import jtop import json, datetime if __name__ == "__main__": with jtop() as jetson: # jetson.stats provides our system measurements as type dict. tmp = jetson.stats # time and uptime are proved as time objects. These needed to be converted before passing as a JSON string, tmp["time"] = str(tmp["time"].strftime('%m/%d/%Y')) tmp["uptime"] = str(tmp["uptime"]) # We then convert our dict -> Json string influx_json= {"jetson": tmp} print(json.dumps(influx_json)) ``` このスクリプトを Telegraf から定期的に実行することになります。 ### Dockerfile の作成 今までは Telegraf の Docker イメージをそのまま使っていましたが、このコンテナには Python の実行環境が入っていないため、上記の Python スクリプトを動かすことができません。 そこで、以下のような Dockerfile を作成しました。 ``` FROM telegraf:1.23.0 ARG DEBIAN_FRONTEND=noninteractive COPY jetson_stats.py /usr/local/bin/ RUN apt update && \ apt install -y --no-install-recommends \ python3 \ python3-pip \ python3-setuptools \ python3-wheel && \ apt autoremove && apt clean && rm -rf /var/lib/apt/lists/* RUN pip3 install \ jetson-stats ``` `jetson_stats.py` をイメージ内にコピーし、あとは Python の実行環境と Jetson Stats をインストールしています。 ### docker-compose.yml の変更 コンテナ内で Jetson Stats を使うためには、`/run/jtop.sock` をマウントする必要があるようです。 ただ、それだけではアクセス権限の関係で以下のようなエラーが表示されました。 ``` jtop.core.exceptions.JtopException: I can't access jetson_stats.service. ``` Docker コンテナの実行ユーザーを `/run/jtop.sock` の所有グループに加えたら解決できたので、`group_add` のプロパティを追加します。 - https://github.com/rbonghi/jetson_stats 以上を踏まえ、docker-compose.yml を以下のように変更しました（今回に関連する部分のみ抜粋）。 ``` services: telegraf: image: telegraf-python:latest container_name: telegraf hostname: ${HOSTNAME:?} environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=all deploy: resources: reservations: devices: - capabilities: [gpu] restart: unless-stopped ports: - 6514:6514 volumes: - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro - /var/run/docker.sock:/var/run/docker.sock:ro - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro # 以下は Jetson Xavier NX 用 - /run/jtop.sock:/run/jtop.sock:ro # https://github.com/rbonghi/jetson_stats user: ${TELEGRAF_UID_GID:?} group_add: - "${JTOP_GID:?}" ``` ### 環境変数の追加 上記の docker-compose.yml 内にある `JTOP_GID` という環境変数を定義します。 `~/.bashrc` に以下を追記します。 ``` export JTOP_GID=$(stat -c '%g' /run/jtop.sock) ``` 再読み込みします。 ```sh ~$ source .bashrc ``` これで、`/run/jtop.sock` の所有グループを `JTOP_GID` で参照できます。 ### telegraf.conf の設定 `telegraf.conf` に以下を追記します。 ``` [[inputs.exec]] ## Commands array commands = [ "python3 /usr/local/bin/jetson_stats.py" ] ## Timeout for each command to complete. timeout = "5s" ## measurement name suffix (for separating different commands) name_suffix = "_jetson_stats" ## Data format to consume. ## Each data format has its own unique set of configuration options, read ## more about them here: ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md data_format = "json" ## Array of glob pattern strings or booleans keys that should be added as string fields. json_string_fields = ["jetson_uptime", "jetson_nvp model", "jetson_NVENC", "jetson_NVDEC", "jetson_NVJPG"] ``` 内容は前述の参考記事の中身そのままです。 ### テスト Docker コンテナに入って、以下のコマンドを実行します。 ``` python3 jetson_stats.py ``` json が取得できていれば OK です。 ## Grafana のダッシュボードを作成 Jetson Stats 用のテンプレートがないかなと探してみましたが、見つかりませんでした。 どうやら自分で作成するしかなさそうです。 参考として、`jetson_stats.py` を実行したら以下のような出力が得られます（わかりやすいように整形しています）。 ```json { "jetson": { "time": "09/14/2022", "uptime": "0:40:39.970000", "jetson_clocks": "OFF", "nvp model": "MODE_10W_DESKTOP", "CPU1": 16, "CPU2": 13, "CPU3": 13, "CPU4": 14, "CPU5": "OFF", "CPU6": "OFF", "GPU": 0, "MTS FG": 0, "MTS BG": 0, "RAM": 1413804, "EMC": 1413804, "SWAP": 0, "APE": 150, "NVENC": "OFF", "NVDEC": "OFF", "NVJPG": "OFF", "fan": 0.0, "Temp AO": 42.0, "Temp AUX": 42.0, "Temp CPU": 42.5, "Temp GPU": 41.5, "Temp thermal": 42.15, "power cur": 4166, "power avg": 4166 } } ``` これらの値が InfluxDB に格納されているはずなので、その値を使ってダッシュボードを作成していきます。 尚、各プロパティの説明は以下にありました。 - https://rnext.it/jetson_stats/jtop.html#jtop.jtop.jtop.stats 単位くらい書いておいてほしいなぁ〜。 ## 参考 URL - https://www.influxdata.com/blog/nvidia-jetson-series-part-1-jetson-stats/ - https://github.com/rbonghi/jetson_stats - https://github.com/rbonghi/jetson_stats/issues/63 - https://qiita.com/manabuishiirb/items/a2620ec8020811540d81 - https://grafana.com/grafana/dashboards/14493-nvidia-jetson/