Jetson Nanoに満を持してJetPack 4.4/4.5を入れてみました

　からあげといいます。半年ほど前に「Jetson Nano超入門」という本を共著で書きました。詳しくは以下ブログ記事参照ください。

共著で書いた本「Jetson Nano超入門」が12/21に発売されます

　ただ、この手の本の宿命として、書いたタイミングと発売するタイミングで基本ソフト（JetPack）のバージョンが異なり、本の通りにやってもうまく動かないということがありました。一応本やサポートサイトでは、古いバージョンのソフトでの動作を推奨しているのですが、気づかない人も多いし、最新のソフトで動かしたいのが人情というものですよね。

　というわけで、ずっと先延ばしにしていたJetPack 4.4を入れて、本に書いてあることを色々試してみました。書籍のサポートという位置付けで記事を書きたいと思います。

追記：JetPack 4.5でも動作確認実施しましたので、JetPack 4.5にも対応しています。

　以下のまとめ記事でも、JetPack 4.4/4.5に関して追記していますが、この記事ではJetPack 4.4/4.5に特化して情報をまとめています。
Jetson Nano関係のTIPSまとめ

JetPack4.4以降で変わったこと

　JetPackはバージョンごとで、変更が結構あります。、今までJetPack 4.2以前しか使っていなかったのですが、4.2以降の変更として、以下が影響大きそうです。

• TensorFlow 1.x -> 2.x
• OpenCV3.x -> 4.x

TensorFlowは 1.xをインストールすることも可能です。現状 TensorFlow 2.x系はハマりやすそうなので、TensorFlow 1.xを使った方が無難かもしれません。この記事でも、基本的にTensorFlow 1.x系を前提に説明していきます。
　

JetPack 4.4でやったこと

　以下を実施しました。順に説明していきます。

• TensorFlowセットアップ
• 物体検出
• 姿勢推定
• ROS2(+Realsense)セットアップ

　使用している画像は、古いJetPackを使用したものもありますが、全部JetPack4.4で動作確認をしています。

TensorFlowのインストール

　色々変わっていたので、JetPack 4.5用のセットアップスクリプトを作成しました。以下を実行すればセットアップできます。

$ git clone https://github.com/karaage0703/jetson-nano-tools
$ cd jetson-nano-tools
$ ./install-tensorflow-v45.sh

　JetPack 4.4の場合は、最後の1行を以下に変更ください。

$ ./install-tensorflow-v44.sh

参考にしたのは以下の公式情報です。

Jetson NanoへのTensorFlowセットアップ方法（公式）

　JetPackでのTensorFlow2.x系ですが、本記事のコメントにもあります通り、正直挙動が相当怪しいです。

　JetPack 4.4では、当面ver1.x系を使用した方が無難かもしれません。ver1.x系のセットアップ方法に関しては、上記の公式情報を参照ください。

　JetPack 4.5のインストールスクリプトでは、ver1.x系がインストールされます。

物体検出

　TensorFlowのObject Detection APIというソフトを使いやすくする、拙作のソフト「Object Detection Tools」を使用します。以下コマンド実行すれば、物体検出がうごきます。

$ cd && git clone https://github.com/karaage0703/object_detection_tools
$ cd ~/object_detection_tools/models
$ ./get_ssdlite_mobilenet_v2_coco_model.sh
$ cd ~/object_detection_tools
$ python3 scripts/object_detection.py -l='models/coco-labels-paper.txt' -m='models/ssdlite_mobilenet_v2_coco_2018_05_09/frozen_inference_graph.pb' -d='jetson_nano_raspi_cam'

　実行結果のイメージ画像です。写真の人物は私ではなく、友人のロンスタさん（変デジ研究所）です。

　Object Detection Toolsに関して詳しく知りたい方は、以下ブログ記事やQiita記事も参照ください。

TensorFlowの物体検出用ライブラリ「Object Detection API」を手軽に使えるソフト「Object Detection Tools」を作ってみた

姿勢推定

　JetPack 4.5の場合は以下でセットアップします。

$ git clone https://github.com/karaage0703/jetson-nano-tools
$ cd jetson-nano-tools
$ ./install-tensorflow-v45.sh
$ ./install-pose-estimation-v45.sh

　JetPack 4.4の場合は以下となります。

$ git clone https://github.com/karaage0703/jetson-nano-tools
$ cd jetson-nano-tools
$ ./install-tensorflow-v44.sh
$ ./install-pose-estimation-v44.sh

　姿勢推定のソフト「tf-pose-estimation」がそのまま動かなかったので、色々ソフト修正しています。基本的にはコメントアウトしまくっただけです。推論だけなら不要なコードが多いので動いています（学習はできなくなっていると思います）。

　ラズパイカメラモジュールを使用する場合は、以下実行してください。

$ cd ~/tf-pose-estimation
$ python3 run_jetson_nano.py --model=mobilenet_v2_small --resize=320x176

　普通のWebカメラの場合は、以下実行してください。

$ python3 run_webcam.py --model=mobilenet_v2_small --resize=320x176

　ラズパイカメラモジュールが接続されている状態でWebカメラを使用する場合は、以下となります。

$ python3 run_webcam.py --model=mobilenet_v2_small --resize=320x176 --camera=1

　実行した結果のイメージ図は以下です。

　姿勢推定（骨格検出）に関して、詳細は以下記事参照ください（JetPack4.4に関しても追記してあります）。

Jetson Nanoに骨格検出を実現するソフト「tf-pose-estimation」をセットアップする方法

ROS2のインストールとRealSense D435のセットアップ

　ROS2をセットアップします。ROS1に関しては、この次に記載しますのでROS1が必要な方はそちらを参照ください。ROS2との共存も可能です。

　セットアップスクリプトを用意しましたので、以下コマンドを実行すればインストールできます。

$ git clone 
$ cd jetson-nano-tools
$ ./install-ros2-dashing.sh

　インストールが終わったら、亀のシミュレータを動かします。以下でインストールして起動します。

$ sudo apt install ros-dashing-turtlesim
$ source /opt/ros/dashing/setup.bash
$ ros2 run turtlesim turtlesim_node

　亀出ました

　続いて、3DカメラモジュールのRealSense D435を動かしてみます。RealSense D435のROS2ラッパーをインストールします。

　Intelの公式リポジトリのREADME通りでセットアップできました。intel/ros2_intel_realsense

　以下はREADMEからの抜粋した、実行したコマンドです。最新のセットアップ方法に関しては、公式のREADMEを確認するようにしましょう。

$ sudo apt-get install ros-dashing-cv-bridge ros-dashing-librealsense2 ros-dashing-message-filters ros-dashing-image-transport
$ sudo apt-get install -y libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev
$ sudo apt-get install -y libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev
$ sudo apt-get install ros-dashing-realsense-camera-msgs ros-dashing-realsense-ros2-camera

　あとは、Rvizの設定ファイルもダウンロードしておきます。

$ wget https://raw.githubusercontent.com/intel/ros2_intel_realsense/master/realsense_ros2_camera/rviz/ros2.rviz

　起動は、以下実行すればOKです。

$ source /opt/ros/dashing/setup.bash
$ ros2 run realsense_ros2_camera realsense_ros2_camera

　Rvizというソフトで可視化してみましょう。別のウィンドウを開いて、以下コマンドでダウンロードした設定ファイルを読み込んでRvizを起動します。

$ source /opt/ros/dashing/setup.bash
$ ros2 run rviz2 rviz2 -d ros2.rviz

　ババーンと、カラーカメラ情報、デプス情報、赤外線画像が表示されます。赤外線画像は、奥行き推定のために照射している赤外線のランダムドットパターンが見えますね。

　PCL(Point Cloud)をみるときは、少し注意が必要です。何故か、 ROS1では繋がっていた camera_depth_optical_frameとcamera_linkのフレームが繋がっていないので、Fixed Frameにcamera_depth_optical_frameを指定して、/camera/depth/color/pointsを指定する必要があります。

　設定と表示した様子は以下となります。

　単純に、リアルセンス単体の動作を確認する場合は、以下のコマンドでもOKです。

$ rs-capture

　また、ファームウェアのバージョンアップに必要なrealsense-viewerが含まれているlirealsenseは、ダウンロードしておいた方がよいでしょう。以下記事も参考にしてみてください。

Jetson NanoでIntel Realsense D435を使う方法（ROS対応）

Jetson NanoでRealsenseのPythonラッパーPyRealsenseを使用する方法

　今回のセットアップに参考にしたのは、以下のサイトです。

• Jetson Nano+ROS2上でのIntel RealSenseの動作と注意点
• Installing ROS 2 via Debian Packages¶

ROS1のインストール

　JetPack 4.4/4.5でROS1もRealsenseも動きました。特に問題なくROS2とも共存できます。

　セットアップ記事は以下参照ください。

Jetson NanoにROSをインストールする方法

Jetson NanoでIntel Realsense D435を使う方法（ROS対応）

JetPack4.4でのハマりどころ

　JetPack4.4でのハマりどころのまとめです。TensorFlow2.xになったことでのハマりどころもたくさんありますが、それはJetPackの問題ではないので割愛しています（エラーメッセージでググりましょう）。

tf.__version__でエラーが発生する

　JetPack4.4で発生しました。Twitterで教えてもらいましたが、tf.version.VERSIONでバージョンが確認できるようです。何故…Twitter情報だと JetPack4.3では発生しないとのこと。何故…

やっぱりそうなんですね。
jetpack 4.4のtensorflow2.xの挙動がよくわかりません...

わかったのは、
tf .__ version__ => NG
tf.version.VERSION => OK
でした。https://t.co/6jwSRl3Yzl pic.twitter.com/e6DqcEp3hg

— nb.o (@Nextremer_nb_o) May 30, 2020

    while(cap.isOpened()):
        # ret, frame = cap.read()
        for i in range(5):
            ret, frame = cap.read()
        if ret == False:
            print('VideoCapture read return false.')
            break