深さ学習における逆誤差伝搬

深さ学習の逆誤差伝搬は、実際には導関数のチェーン式導関数の法則であり、誤差による重さの偏導性:によって重みの誤差に対する寄与の大きさを求め、その後、学習率を所与の場合には、この偏導求重みの更新値:逆伝搬のチェーン式法則に従って、実例の導出:http://www.cnblogs.com/charlotte77/p/5629865.html 逆伝搬の簡単な例:http://www.ppvke.com/Blog/archives/40563 逆伝搬の最も簡単なpython例(11行pythonコード):http://blog.csdn.net/mingtian715/article/details/53954069 2層ネットワークにおいて、その逆伝搬のコアコードは以下の通りである.Xは入力であり、nonlinはsigmoid関数を求めるので、第2のパラメーターをプラスして、しかもtrueの時、その求めるのはsigmoidの導関数syn 0が重みで、下の後の3行の中のコードはすべて偏向導求法のチェーン式の法則によって求めます.

for iter in xrange(10000):  
   # forward propagation  
   l0 = X  
   l1 = nonlin(np.dot(l0,syn0))  

   # how much did we miss?  
   l1_error = y - l1  

   # multiply how much we missed by the   
   # slope of the sigmoid at the values in l1         
   l1_delta = l1_error * nonlin(l1,True)  

   # update weights  
   syn0 += np.dot(l0.T,l1_delta)

逆伝搬の概略図:


















ソースアドレス:http://galaxy.agh.edu.pl/~vs lsi/AI/backp_tう.n/backprop.