Deep Q-Network (DQN)

Deep Learning + 強化学習を使って行動パターンを学習させるDeep Q-Networkは面白いと思い、実装してみました。少しだけ結果が出たので公開します。

ソースコードは以下で公開しています。
https://github.com/dsanno/chainer-dqn

DQNについては以下が詳しいです。
DQNの生い立ち　＋　Deep Q-NetworkをChainerで書いた

学習対象

今回DQNに学習させるゲームはくまのプーさんのホームランダービー！です。(リンク先で音が鳴るので注意)
プニキことプーのアニキに多くのホームランを打たせることを目標にします。

このゲームを選んだ理由は以下の通りです

• ルールが単純
  ピッチャーが投げる球を丸太で打ち返し、規定数ホームランを打てばクリアとなります
• 報酬の判定が簡単
  結果が「ホームラン」「ストライク」といった画像で示されるので、画像に対応した報酬を与えてやります

あとは人間にとって非常に難しいという理由もあったのですが、難しくなるところまで到達できませんでした。(参考: ニコニコ大百科)

開発環境

• Windows 10
• Chainer 1.5.1
• 画面キャプチャと操作にPyAutoGUIを使用
  
• GeForce GTX970
  CPUだと学習に時間がかかりすぎてうまく動作しません

ニューラルネットワーク構成

• 入力は150 x 112 x 3chのピクセルデータです。ゲーム画面のサイズは600 x 450pxなのですが、キャプチャした画像を縦横1/4ずつ縮小して入力しています。
• 出力は行動の評価値のベクトルです。
  ベクトルの長さは行動パターンの数に一致します。
  今回はポインタのY座標は固定でX座標を33段階で変動させるようにしました。
  ボタンはONとOFFの2状態があり計66個の行動パターンとなります。
• 中間レイヤはConvolutional Neural Networkが3層、LSTMが1層、Fully Connected Layer 1層となっています。

プレイについて

• タイトル画面、ピッチャー選択画面等では、決められた位置をクリックするようにしました。
  
• 対戦中は、100msごとに画面をキャプチャして入力画像として使います。(以下、100ms間隔の単位を「フレーム」と呼びます)評価値の最も高い行動パターンを次のフレームの行動とします。
• 以下の状態を判定したときに報酬を与えました。それ以外のフレームでの報酬は0です。 ルール上ファールとヒットはストライクと同じ失敗扱いですが、空振りよりは球に当たったほうが良い行動と言えるので、ストライクより少しだけ報酬を高くしています。
  • ホームラン: 100
  • ストライク: -100
  • ファール: -90
  • ヒット: -80
• 以下の3パターンでランダムな行動をとらせるようにしました。 今回のゲームは1フレームだけランダムな行動をとらせてもあまり意味がないので、10～30フレームの範囲で連続したフレームの間ランダムな行動をとらせました。
  • ポインタの位置だけランダム
  • ボタンの状態だけランダム
  • ポインタの位置もボタンの状態もランダム

学習について

• 学習はプレイと別スレッドで並行して行いました。
• LSTMの学習を行うために、以下のように連続したフレームの入力値を与えてパラメータ更新するようにしました。 mは4～32の範囲で徐々に大きくしました。
  • nをランダムに選択する
  • フレームnの入力値を入力
  • フレームn + 1の入力値を入力してフレームn + 1の最大評価値を求める。それを使ってフレームnのパラメータを更新
  • ...
  • フレームn + mの入力値を入力してフレームn + mの最大評価値を求める。それを使ってフレームn + m - 1のパラメータ更新

設定

• ミニバッチ数: 64
• DQNのgamma: 0.98
• optimizer: AdaDelta
  文献[2]でAdaDeltaを使っていたので採用しました。
  パラメータはデフォルトのrho=0.95, eps=1e-06としています。
• chainer.optimizer.GradientClipping()を使ってL2 normを最大0.1に制限
  勾配を制限しないとQ値が大きくなりすぎ学習が安定しませんでした。

学習結果

10時間ほどステージ1で学習を続けたところ、ステージ1は大体クリアできるようになりました。
プレイ動画を以下にアップロードしました。
動画撮影時にはランダムな行動をとらないようにしています。
https://youtu.be/J4V6ZveYFUM

ほかのステージも含めて学習を行わせたところ、ステージ3をまぐれでクリアするところまでは確認できました。

参考文献

• [1] V. Mnih et al., "Playing atari with deep reinforcement learning"
  http://arxiv.org/abs/1312.5602
• [2] M. Hausknecht, P. Stone, "Deep Recurrent Q-Learning for Partially Observable MDPs"
  http://arxiv.org/abs/1507.06527
• [3] DQNの生い立ち　＋　Deep Q-NetworkをChainerで書いた