ADOPに新たなSceneを追加して学習させるための手順

※ADOPとは以下のことです
https://github.com/darglein/ADOP

用意するもの

• colmp 3.7　（バージョンとっても重要）
• build済みのADOP

概要

colmapで点群を作成し、それをADOPビルド時に作られる./build/bin/colmap2adopを利用してインポート
そのあと、同じくADOPビルド時に作られる./build/bin/train_adopを利用して学習を開始する。

手順

1. colmapで画像から点群を作成する。

以下の手順に沿ってcolmapをインストールします。
https://colmap.github.io/install.html

winやmacでビルド済みのものを取得すると一番簡単です。
linuxの場合はコードからビルドする必要があります。

※注意
apt install colmap でlinuxは実はインストールできたりしますが、この場合3.6が入ってしまいADOPには適合しません。
必ず最新の3.7をインストールしましょう。

インストール出来たら、点群化する対象の画像を用意して、colmapの「Automatic reconstruction」を使って点群を作成します。
具体的な使い方は以下がわかりやすいです。
https://blog.goo.ne.jp/yoossh/e/d1278b39229eca47774fe5646a2bb2d7

colmap2adopでadopにインポートする

以下に沿いながらSceneにインポートします。
https://github.com/darglein/ADOP/blob/main/scenes/README.md

export SCENE_BASE=/local.home/Projects/ADOP/additional_material/colmap/Playground/

build/bin/colmap2adop --sparse_dir SCENE_BASE/sparse/0/ \
    --image_dir scenes/tt_playground/images/ \
    --point_cloud_file SCENE_BASE/dense_point_cloud.ply \
    --output_path scenes/playground_test \
    --scale_intrinsics 1 --render_scale 1 

この時point_cloud_file の値は、colmapで作成された、./dense/0/fused.plyを指定します。
image_dir は、点群に使った画像のディレクトリ
output_path　は、Sceneディレクトリ（あらかじめ作成する必要はない）
scale_intrinsics は、レンダリングのスケールを指定します。

問題なく変換がうまくいったら、次は学習に移ります。

train_adopで学習を始める

まずは学習のためのconfigファイルを作成します。
ADOP/configにあらかじめ2つのconfigファイルがあります。

ここに、学習時の設定を入れます。
すでにあるcomfigファイルを複製して作成しましょう。
以下の条件に近いものを複製して作るとよいです。

configs/train_boat.ini　・・・露出値のバリエーションが多いシーンを撮影する場合
configs/train_tank_and_temples_multi.ini　・・・屋内シーンや露出値が近い画像の場合

編集対象の値

• name ・・・名称
• output_file_type・・・画像の拡張子
• scene_name・・・colmap2adopで作ったsceneディレクトリ名

マシンのスペックが高くない場合（メモリエラーなどが発生するときは以下を表記の値に変更する）

train_crop_size = 256
inner_batch_size = 8
batch_size = 2

ここまで変更ができたら、以下コマンドで学習を開始します。
（train_your-project.ini はご自身の環境に合わせて変更してください）

./build/bin/adop_train --config configs/train_your-project.ini

問題なければ学習が始まります。

もし、メモリエラーが起きてしまうときは

最後の render_scaleの値を 0.5などに下げてcolmap2adopをやり直すとよいです。
画像の大きさなどが小さくなり、メモリの消費量が減り、学習に使えるようになります。

もし以下のようなエラーが出る場合は、colmapから出力したplyファイルに問題がある可能性が高いです。
colmapのバージョンが問題ないか確認しましょう。

Assertion 'point_cloud_cuda->t_normal.defined() || !params->render_params.check_normal' failed!
  File: /home/bros/ADOP/src/lib/data/NeuralScene.cpp:28
  Function: NeuralScene::NeuralScene(std::shared_ptr<SceneData>, std::shared_ptr<CombinedParams>)
abort (core dumped)

ubuntu内ではなく、windowsでcolmapを動かして持ってきても問題ないので、別環境で動かしてみるのも有効です。

あとは待ちましょう

400エポックほど学習を繰り返すので、あとは待ちます。
公式曰く、12~24時間ほどかかるとのことなので、放っておきましょう。

学習が終われば、
./build/bin/adop_viewer --scene_dir scenes/newscene（newsceneは自身の環境によって変えてください）
で動きます。