ソフトマックスloss

629 ワード

原文の住所:http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function softmax function:
pj=eojΣkeok
そのうち
oはベクトルです。
Loss function:
L=−−Σjyjlogpj、
まずp対oの導数を求めます。
ͦpjͦoi=pi(1−pi)、i=j
ͦpjͦoi=−pipj,i≠j.
次にL対oの偏導数を求めます。
ͦL⇼Lͦoi=======================================================================================================================================================================================yi=ピ−yi
そのうち
ΣKk=1
下付きはいつも変わります。本当に嫌です。
また、latexで数学式を編集するにはテキストをハイライトするコードが必要です。
\color{red}