概要

MMDのダンスモーションを作成するスキルが無く3Dモデルを作成する絵心があまり無くても、自分の好みのキャラを自分の振付で踊らせることを目標としています。
スキル無しとは銘打っていますが、ダンスモーションは己のダンスで、3Dモデル作成はキャラクター作成に特化したエディタ(Vroid Studio)で作成します。
基本的には技術を解説した記事を集めています。

大まかな流れ

3Dモデル作成

1. Vroid Studioで3Dモデルを作成
2. VroidモデルをMMDで動かせるように変換

モーション作成

1. 己のダンスを撮影
2. Google Colaboratory上でダンス動画からMMDのモーションを抽出

MMD作成

1. MMDに3Dモデル、モーション、音楽(wavファイル)を読み込ませる
2. AVIファイルに変換して、完成！

モーションとMMD作成時に補助ツールとして、ffmpegを使用。

Vroid Studioで3Dモデルを作成

髪、瞳、体などキャラクターに必要なパーツごとに絵を描くようにキャラクターを作成できるツール。
色と形さえ合っていれば、お好みのキャラクターに見えるためかなり敷居が低い。
3Dモデルや衣装を公開されている方がいるので、流用も有り。

VroidモデルをMMDで動かせるように変換

Vroidモデルはそのままの形式ではMMDで動かせないため変換する必要がある。
下記の記事が頭からっぽでも作業できるためおすすめ。

己のダンスを撮影

動かしたいダンスモーションを作成するには自分が踊るしかありません。頑張りましょう。
許可が取れれば、既存のダンス動画を使用しても良いですね。

ダンス撮影時に役立つffmpegコマンド

モーションを覚えるために動画を左右反転し、0.5倍速で動画を再生するとき

ffmpeg -i input.mp4 -vf hflip,setpts=PTS/0.5 -af atempo=0.5 output.mp4

0.5倍速で踊った動画を2倍速にするとき

ffmpeg -i input.mp4 -vf setpts=PTS/2 -af atempo=2 output.mp4

Google Colaboratory上でダンス動画からMMDのモーションを抽出

今回のMMD作成の軸となるツール
Googleが提供するGoogle Colaboratory上で機械学習によりダンス動画からMMDのモーションを抽出することができる。

Chromeブラウザさえあれば、GPUのないパソコン、ノートパソコンでも、後は全部クラウド(colab)上で、MMD自動トレースを実行することができます！
ソースコード等、実行に必要なデータはすべてクラウド上に保存されます。
実行結果のMMDモーションデータ等は、Googleドライブに保存されるので、ご自分のローカル環境にダウンロードする事ができます。
所要時間は、導入編に30分、実行編準備に約20分、実行編実行に約120分です。大体3時間くらい見込んでおいてください。
関節位置データ（json）を他のアプリ等に流用することも可能です。

MMDに3Dモデル、モーション、音楽(wavファイル)を読み込ませる

MMDを起動し、今までの作業で作成した3Dモデル、モーションをドラッグアンドドロップで読み込ませて、再生をするとモデルが踊ります。
音楽(wavファイル)もドラッグアンドドロップで読み込み可能です。

MMD作成時に役立つffmpegコマンド

音楽を動画に合わせて、気合で音楽をトリミングするとき

ffmpeg -i input.wav -ss 【スタートする秒数】 -t 【トリミングする秒数】 output.wav

avi形式で保存したMMDの動画をmp4に変換するとき

ffmpeg -i input.avi -pix_fmt yuv420p output.mp4

出来上がったもの

ここまで紹介したツールを使って、(馬場)このみさんが(鈴木)このみさんのOLの歌を踊る動画を作りました。
トレース元(自分)の影響も有り、ちょっと盆踊り感がありますが、ちゃんと踊っているのは凄いですね。