今年のCVPRで発表された、高性能の超解像アルゴリズム「PULSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models」を試してみました。
流行りの「自己教師あり学習」です。

※論文の内容に関しては省略（いつか解説記事を書くかも？！）
　→書きました

「PULSE」のポイント

• 今までとは評価ポイントが違う
  • 超解像した後の画像じゃなくて、超解像した後にダウンスケールした画像で比較
• 今までの手法よりも超解像可能
• 超解像自体はStyleGANを使用（CelebA-HQで学習済み）

このGIFがイメージをつかみやすいです。

ソースコード

ソースコードはGithubにて公開されています。
今回はこれをそのまま使います。

インストール

Python 3.7上で、以下のモジュールをインストールしました。

• Anaconda NavigatorのGUIからインストール
  • matplotlib
  • numpy
  • pandas
  • pillow
  • scipy
  • requests
• コマンドラインからインストール
  • pytorch
  • torchvision
  • cudatoolkit（今回は10.2を使用）

環境構築

超解像したい画像を入れておくフォルダを用意します。
ここではとりあえず「input」とします。

そこに超解像したい画像を入れます。（複数入れてもOK）
画像にはいくつか制限があります。

• 縦横のサイズは同じ
• サイズは1,024の約数
• フォーマットはPNG（RGB）

実行

> python run.py

で実行します。

エラー対応

ほとんどの画像で、以下のようなエラーになります。

Loading Synthesis Network
Optimizing
BEST (100) | L2: 0.0058 | GEOCROSS: 4.3057 | TOTAL: 0.7981 | time: 10.0 | it/s: 9.98 | batchsize: 1
Could not find a face that downscales correctly within epsilon

上記の例の場合、L2の最小値が「0.0058」なのですが、デフォルトの閾値が「0.002」になっており、それより近づかないとエラーになります。

対応方法としては、引数「eps」で閾値の値を変更します。

> python run.py -eps 0.005

実行結果

実行結果は「runs」フォルダに保存されます。
出力される超解像画像は1,024x1,024のpngになります。

外国人バイアスがむごい．．．
あと、正面顔じゃないとダメそう。

感想

実行は簡単ですが、実際に使おうと思うと、いろいろとやらなくてはいけないことがいっぱいありそうです。