Google製自動動画クロッピングツールAutoFlipを試す

Google製のAutoFlipに彼女は？年収は！？調べてみました！
日課のウェブサーフィン中に面白そうな記事を見つけたので軽く動かして遊んでみます

autoflipとは

AutoFlipは、MediaPipe(GoogleのMLパイプラインフレームワーク)上に構築された自動クロップパイプラインです。(和訳)

アスペクト比が異なる端末などで再生する際に、自動で重要そうな部分だけクロップしてくれるしてるツールです。
以下の例のように重要箇所だけを対象に追従してクロップしてくれます。

ビルド

MediaPipeの導入はここを参考にしてください

mediapipe Installing on macOS

macOSでの導入方法です

1.準備

• Homebrewをインストール
• Xcodeをインストール

2.gitリポジトリの取得

$ git clone https://github.com/google/mediapipe.git
$ cd mediapipe

3.Bazelのインストール

$ brew install https://raw.githubusercontent.com/bazelbuild/homebrew-tap/f8a0fa981bcb1784a0d0823e14867b844e94fb3d/Formula/bazel.rb
$ brew link bazel

4.OpenCVとffmpegコーデックのインストール

$ brew install opencv@3
$ brew uninstall --ignore-dependencies glog

5.Python3とsixライブラリーのインストール

$ brew install python
$ sudo ln -s -f /usr/local/bin/python3.7 /usr/local/bin/python
$ pip3 install --user six

6.ハロワ

$ export GLOG_logtostderr=1
$ bazel run --define MEDIAPIPE_DISABLE_GPU=1 \
      mediapipe/examples/desktop/hello_world:hello_world

自分はcd mediapipeとglog依存のアンインストールのし忘れで何度か失敗したので気をつけてください

autoflipのビルド

$bazel build -c opt --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/autoflip:run_autoflip

動かしてみる

NHKクリエイティブ・ライブラリーから落とした動画で動作確認していきます。きちんと受信料納めてるのでもらえるものはもらっていきます。

GLOG_logtostderr=1 bazel-bin/mediapipe/examples/desktop/autoflip/run_autoflip \
  --calculator_graph_config_file=mediapipe/examples/desktop/autoflip/autoflip_graph.pbtxt \
  --input_side_packets=input_video_path=/absolute/path/to/the/local/video/file,output_video_path=/absolute/path/to/save/the/output/video/file,aspect_ratio=1:1

aspect_ratioの値を変えることで出力ファイルのアスペクト比を調整できます。
今回は現行のiPhoneのアスペクト比に合わせ9:19.5で出力しました。
１枚目がオリジナルの動画,2枚目がautoflipでクロップした動画です。

ストリートバスケット

雪の林のキタキツネ

巨大トカゲ・コモドドラゴン　大きな口を開けて

gifを圧縮するのに結構苦戦したので良い方法教えていただけるととても喜びます

まとめ

いかがでしたか？Autoflipを使うといい感じの動画をいい感じに生成してくれることがわかりましたね！
よければシェアいいねよろしくお願いします！それでは楽しいエンジニアライフを！

人間以外には使えないと思ってたのですが、動物や無機物までなんでもイケるのほんとにすごいですね。

TiktokやByteみたいなスマホで見るショートビデオサービスやインスタのストーリー等が主なユースケースになるのでしょうか。自分はよくクラブやライブでブースと演者を撮る機会があるので、各種SNSへ上げるのに役立ちそうな気がします。映え〜。

キャプチャしたアニメやゲームプレイなどでも試してみたい...iphoneから各種SNSへシェアできるアプリでも作ろうかなぁ。

See the Pen NHK by ebifly (@ebifly) on CodePen.