概要

写真1枚で
高精度な3D画像↓　簡単作成できるよう。

写真1枚で高精度な3D画像簡単作成やってみた【1】。(depthがPNGで編集できるようになりましたよ。)
の記事参照。

ここでは、
depthをnumpyで加工してみる

以下が論文とgithub。

https://arxiv.org/pdf/2004.04727.pdf
論文『3D Photography using Context-aware Layered Depth Inpainting』
Meng-Li Shih1　さんら

githubは、以下。
https://github.com/vt-vl-lab/3d-photo-inpainting

まず、普通の実施例

加工元画像　
https://pixabay.com/ja/　を利用

元の1枚の静止画。

結果。

元の1枚の静止画。

結果。

numpyでdepthを加工

とりあえず、depthの値を20段階ぐらいに？離散化してみた。
（すみません、例として、失敗しています。作用が全くわからない。。。 作用は、次項参照。）

2行たしてみた
実際は、例えば、意味のある関数をつくって作用させればいい？ここの処理フェーズでやるのがいいかどうかは検討がいると思うが。

        # compute
        with torch.no_grad():
            out = model.forward(img_input)

        out = out//0.1#######追加
        out = out*0.1#######追加

        depth = utils.resize_depth(out, target_width, target_height)
        img = cv2.resize((img * 255).astype(np.uint8), (target_width, target_height), interpolation=cv2.INTER_AREA)

numpyでdepthを加工(作用を強くした例）

上記より粒度を5倍にあげた。

        out = out//0.5#######追加
        out = out*0.5#######追加

あとがき

pngの編集を前の記事に書いたが、デフォルトのnumpyのほうが扱いやすいかもと思い、numpyでの編集の例を示した。（残念ながら、意味ある編集に至らず。。。）
コメントなどあればお願いします。

関連：
写真1枚で高精度な3D画像簡単作成やってみた【3】。勝手にdepthのみ 別の手法（intel-isl のMiDaS他）。

写真1枚で高精度な3D画像簡単作成やってみた【0】。(空間の捉え方を確認した)

写真1枚で高精度な3D画像簡単作成やってみた【-1】。(隠れた領域が、本当に見えるのか？)

役立つかもしれない情報（一連の記事【-1】～【3】総合）

【1】
・GFORCE GTX1050Ti（専用GPUメモリ4.0GB)では、
GPUのメモリ不足で動かない場合あり。
　これは、画像サイズに依存するのではなく、
　おそらく、画像の中身で3Dの表現に必要なメモリ量の関係か何か。
　解決策、見つけていません。パラメータ変更等でなんとかなるのかも。
赤い車ので、専用GPUメモリ3.4GB程度、白のは2.7GB程度使用されていました。
　このメモリ問題に関しては、とりえず、Google Colabとかを使うのがいいのでは？
・PNGによるdepth情報の編集を示しましたが、確か、デフォルトはnumpy?。
　そのデータ(numpy)をガタガタ扱うのができる方は、そちらを編集するのもありかも。
・PNGで表現されたdepthの情報は、どこかで正規化されている気がする。PNGのdepthのレンジを
　　変更しても結果が同じだった気がする。

【3】
・全面が壁のような画像の場合、垂直面がうまく検出できないような気がする。
　　（簡単だと思うので、不思議。）depthの手法をいくつか試したが、
　　いまのところ良いものに出会ってない。