CS 231 n作業ノート2.1:二層全接続ニューラルネットワークの階層化実現

CS 231 n概要

詳しくはCS 231 nカリキュラムノート1:Introductionを参照してください.本文はすべて作者自身の思考で、正確性は検証されていないで、指導を歓迎します.

作業ノート

1.ニューラルネットワークの階層的実現

全接続層+ReLU層の前方伝播と後方伝播を実現する.参考資料:CS 231 n課程ノート4.2:ニューラルネットワーク構造、CS 231 n課程ノート4.1:逆伝播BP、CS 231 n作業ノート1.6:ニューラルネットワークの誤差と勾配計算、CS 231 n作業ノート1.5:Softmaxの誤差及び勾配計算.

全接続順方向伝播:out = x.reshape([x.shape[0],-1]).dot(w)+b

全接続後方伝播:

x, w, b = cache
  dx, dw, db = None, None, None
  dw = x.reshape([x.shape[0],-1]).T.dot(dout)
  db = np.sum(dout,axis = 0)
  dx = dout.dot(w.T).reshape(x.shape)

ReLUの順方向伝播:out = x*(x>0)

ReLUの後方伝播:dx = dout * (x>0)

2.2層の全接続ニューラルネットワークのパッケージング実現

上告神経層を直列に接続し,2層の全接続神経ネットワークを構築した.

2.1. パラメータ初期化

numpyを使用random.randn関数は,標準分布に従うランダムパラメータに用いられる.注意:numpyは使用しないでください.random.rand関数([0,1]内の平均分布を生成するために使用される)、numpy.random.normal関数も使用できます.

    self.params['W1'] = np.random.randn(input_dim,hidden_dim)*weight_scale
    self.params['b1'] = np.zeros(hidden_dim)
    self.params['W2'] = np.random.randn(hidden_dim,num_classes)*weight_scale
    self.params['b2'] = np.zeros(num_classes)

2.2. 計算lossおよびgradient

この関数はlossと各パラメータの勾配を計算するために使用されます.大まかに2つの神経層と最後の層のsoftmaxを一定の形式で直列に接続している.注意:全接続ニューラルネットワークではbias部分は正規化されない.biasはデータに乗算されないため、データの各次元が最終的な影響サイズに及ぼす影響を制御する役割はありません.(しかし、正規化がうまくいけば、biasを正規化しても効果が悪くならないのは、biasがweightよりも数が少ないためであり、モデルがbiasに対する変化をサポートしてより正確性を得ることができるためである可能性があるためである)[参考資料:Neural Networks Part 2:Settings up the Data and the Loss]
1.scoreの計算

    scores = None
    W1,b1,W2,b2 = self.params['W1'],self.params['b1'],self.params['W2'],self.params['b2']
    fc1_out,fc1_cache = affine_forward(X,W1,b1)
    relu_out,relu_cache = relu_forward(fc1_out)
    fc2_out,fc2_cache = affine_forward(relu_out,W2,b2)
    scores = fc2_out

2.lossおよび勾配の計算

    loss, grads = 0, {}
    loss,dscores = softmax_loss(scores,y)
    loss += 0.5*self.reg*(np.sum(W1**2)+np.sum(W2**2))

    drelu_out,dW2,db2 = affine_backward(dscores,fc2_cache)
    dfc1_out = relu_backward(drelu_out,relu_cache)
    _,dW1,db1 = affine_backward(dfc1_out,fc1_cache)

    dW1 += self.reg*W1
    #db1 += self.reg*b1
    dW2 += self.reg*W2
    #db2 += self.reg*b2

    grads['W1'],grads['b1'],grads['W2'],grads['b2'] = dW1,db1,dW2,db2