TOP PAGE

学習テクニック

SGD

$$ W^{t+1} ← W^t - lr\frac{\partial E(W^t)}{\partial W^t} $$
lr = 0.01

Momentum SGD

$$ W^{t+1} ← W^t - lr\frac{\partial E(W^t)}{\partial W^t} + αΔW^t $$
lr = 0.01
途中で学習が止まった。lrが大きすぎたか。（本ではlr = 0.005にしている。）

Batch Normalization

lr = 0.01
Batch Normalizationすることでaccuracyが向上した。

Batch Normalizationの詳細は本には書いていないので下記記事を見て勉強した。
https://qiita.com/omiita/items/01855ff13cc6d3720ea4
・バッチノームは、ミニバッチごと同一チャネルごとで、活性化関数を通す前の値を平均0,分散1に正規化するもの。
・バッチノームで改善する理由は不明。

対局動画
https://youtu.be/9YBImGLzm1w
バッチノーム弱すぎ。