へっぽこプログラマーの備忘録

ラベル NVIDIA の投稿を表示しています。すべての投稿を表示

2023/05/27

NO IMAGE

Telegraf で Jetson の GPU 情報を取得する

どうしようかなと思っていたら、以下の記事に Jetson で GPU 情報を取得する方法が書いてありました。

- https://www.influxdata.com/blog/nvidia-jetson-series-part-1-jetson-stats/

これを参考に、InfluxDB にデータを保存し、Grafana で可視化まで行いました。  
尚、TIG Stack (Telegraf, InfluxDB, Grafana) については以下を参考にしてください。

- https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

## 環境

- Jetson Xavier NX
- Ubuntu 18.04
- Telegraf 1.23.0

Telegraf, InfluxDB, Grafana は Docker で動作させています。

## Jetson Stats のインストール

まずはホストに Jetson Stats をインストールします。

```sh
$ sudo apt-get update
$ sudo apt-get install python3-pip
$ sudo -H python3 -m pip install -U jetson-stats
```

インストール後、一度ログアウト or 再起動します。

`jtop` を実行して動作確認します。

## Telegraf の設定

Jetson Stats を使って GPU の情報を取得する python スクリプトを作成し、それを Telegraf から定期的に実行するようにします。  
ただし、今回 Telegraf は Docker コンテナで動かしているので、上記の記事そのままでは上手く行きません。

### Python スクリプトの作成

上記の記事にある以下のスクリプトを `jetson_stats.py` という名前で保存しました。

```py
# Import jtop python library. We will use this to access the Jetson_Stats service.
from jtop import jtop
import json, datetime

if __name__ == "__main__":

with jtop() as jetson:
        # jetson.stats provides our system measurements as type dict.
        tmp = jetson.stats
        # time and uptime are proved as time objects. These needed to be converted before passing as a JSON string,
        tmp["time"] = str(tmp["time"].strftime('%m/%d/%Y'))
        tmp["uptime"] = str(tmp["uptime"])
        # We then convert our dict -> Json string
        influx_json= {"jetson": tmp}
        print(json.dumps(influx_json))
```

このスクリプトを Telegraf から定期的に実行することになります。

### Dockerfile の作成

今までは Telegraf の Docker イメージをそのまま使っていましたが、このコンテナには Python の実行環境が入っていないため、上記の Python スクリプトを動かすことができません。  
そこで、以下のような Dockerfile を作成しました。

```
FROM telegraf:1.23.0

ARG DEBIAN_FRONTEND=noninteractive

COPY jetson_stats.py /usr/local/bin/

RUN apt update && \
    apt install -y --no-install-recommends \
    python3 \
    python3-pip \
    python3-setuptools \
    python3-wheel && \
    apt autoremove && apt clean && rm -rf /var/lib/apt/lists/*

RUN pip3 install \
    jetson-stats
```

`jetson_stats.py` をイメージ内にコピーし、あとは Python の実行環境と Jetson Stats をインストールしています。

### docker-compose.yml の変更

コンテナ内で Jetson Stats を使うためには、`/run/jtop.sock` をマウントする必要があるようです。  
ただ、それだけではアクセス権限の関係で以下のようなエラーが表示されました。

```
jtop.core.exceptions.JtopException: I can't access jetson_stats.service.
```

Docker コンテナの実行ユーザーを `/run/jtop.sock` の所有グループに加えたら解決できたので、`group_add` のプロパティを追加します。

- https://github.com/rbonghi/jetson_stats

以上を踏まえ、docker-compose.yml を以下のように変更しました（今回に関連する部分のみ抜粋）。

```
services:
  telegraf:
    image: telegraf-python:latest
    container_name: telegraf
    hostname: ${HOSTNAME:?}
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=all
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
    restart: unless-stopped
    ports:
      - 6514:6514
    volumes:
      - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro
      # 以下は Jetson Xavier NX 用
      - /run/jtop.sock:/run/jtop.sock:ro # https://github.com/rbonghi/jetson_stats
    user: ${TELEGRAF_UID_GID:?}
    group_add:
      - "${JTOP_GID:?}"
```

### 環境変数の追加

上記の docker-compose.yml 内にある `JTOP_GID` という環境変数を定義します。  
`~/.bashrc` に以下を追記します。

```
export JTOP_GID=$(stat -c '%g' /run/jtop.sock)
```

再読み込みします。

```sh
~$ source .bashrc
```

これで、`/run/jtop.sock` の所有グループを `JTOP_GID` で参照できます。

### telegraf.conf の設定

`telegraf.conf` に以下を追記します。

```
[[inputs.exec]]
  ## Commands array
  commands = [
    "python3 /usr/local/bin/jetson_stats.py"
  ]

## Timeout for each command to complete.
  timeout = "5s"

## measurement name suffix (for separating different commands)
  name_suffix = "_jetson_stats"

## Data format to consume.
  ## Each data format has its own unique set of configuration options, read
  ## more about them here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
  data_format = "json"
  ## Array of glob pattern strings or booleans keys that should be added as string fields.
  json_string_fields = ["jetson_uptime", "jetson_nvp model", "jetson_NVENC",  "jetson_NVDEC",  "jetson_NVJPG"]
```

内容は前述の参考記事の中身そのままです。

### テスト

Docker コンテナに入って、以下のコマンドを実行します。

```
python3 jetson_stats.py
```

json が取得できていれば OK です。

## Grafana のダッシュボードを作成

Jetson Stats 用のテンプレートがないかなと探してみましたが、見つかりませんでした。  
どうやら自分で作成するしかなさそうです。

参考として、`jetson_stats.py` を実行したら以下のような出力が得られます（わかりやすいように整形しています）。

```json
{
    "jetson": {
        "time": "09/14/2022",
        "uptime": "0:40:39.970000",
        "jetson_clocks": "OFF",
        "nvp model": "MODE_10W_DESKTOP",
        "CPU1": 16,
        "CPU2": 13,
        "CPU3": 13,
        "CPU4": 14,
        "CPU5": "OFF",
        "CPU6": "OFF",
        "GPU": 0,
        "MTS FG": 0,
        "MTS BG": 0,
        "RAM": 1413804,
        "EMC": 1413804,
        "SWAP": 0,
        "APE": 150,
        "NVENC": "OFF",
        "NVDEC": "OFF",
        "NVJPG": "OFF",
        "fan": 0.0,
        "Temp AO": 42.0,
        "Temp AUX": 42.0,
        "Temp CPU": 42.5,
        "Temp GPU": 41.5,
        "Temp thermal": 42.15,
        "power cur": 4166,
        "power avg": 4166
    }
}
```

これらの値が InfluxDB に格納されているはずなので、その値を使ってダッシュボードを作成していきます。  
尚、各プロパティの説明は以下にありました。

- https://rnext.it/jetson_stats/jtop.html#jtop.jtop.jtop.stats

単位くらい書いておいてほしいなぁ〜。