はじめに

本記事は、E資格の受験資格の取得を目的としたラビットチャレンジを
受講した際の勉強記録およびレポート記事である。

ニューラルネットワークでできること

□回帰
　・結果予想＿売上予測、株価予想
　・ランキング＿競馬順位予想、人気順位予想

□分類
　・猫写真の判別
　・手書き文字認識
　・花の種類分類

Section1)入力層～中間層

■確認テスト
入力層から中間層への情報の伝播を動物の例に合わせて図示せよ。

解答：

■確認テスト
下記の数式をPythonで書け。
　　$ u = w_{1}x_{1} + w_{2}x_{2} + w_{3}x_{3} + w_{4}x_{4} + b = Wx + b $

解答：u1 = np.dot(x, W1) + b1
・実習演習結果

Section2)活性化関数

□活性化関数
ニューラルネットワークにおいて、次の層への出力の大きさを決める
非線形の関数。
入力値のによって、次の層への信号のON／OFFや強弱を定める働きをもつ。

■確認テスト
線形と非線形の違いを図にかいて簡易に説明せよ。

解答：

□ステップ関数
閾値を超えたら発火する関数であり、出力は常に1か0。
パーセプトロン（ニューラルネットワークの前身）で利用された関数。
課題：0~1間を表現できず、線形分離可能なものしか学習できない。

$f(x) = \biggl\{
\begin{array}{ll}
1 & (x \geqq 0) \\
0 & (x \lt 0)
\end{array}$

・実習演習結果

□シグモイド関数
0~1間を緩やかに変化する関数。
信号の強弱を伝えられるようになり、予想ニューラルネットワーク普及の
きっかけとなった。
課題：大きな値では出力の変化な微小なため、勾配消失問題を引き起こす
ことがあった。
　
$ \smash{ f(x) = \dfrac{1}{1 + e^{-x}} }$

・実習演習結果

□ReLU関数
今最も使われている活性化関数。
勾配消失問題の回避とスパース化に貢献することで良い成果をもたらしている。

$f(x) = \biggl\{
\begin{array}{ll}
x & (x \geqq 0) \\
0 & (x \lt 0)
\end{array}$

・実習演習結果

Section3)出力層

■確認テスト
平均二乗誤差においてなぜ、引き算でなく二乗するか？
1/2はどういう意味を持つか述べよ。

解答
・2乗する理由
　引き算をを行うだけでは、各ラベルでの誤差で正負両方の値が発生し
　全体の誤差を正しく表すのに都合が悪い。2乗してそれぞれのラベルでの
　誤差を正の値になるようにする。

・1/2する理由
　実際にネットワークを学習するときに行う誤差逆伝搬の計算で誤差関数の
　微分を用いるが、その際の計算式を簡単にするため。
　本質的な意味はない。

■確認テスト

解答
①return y.T
②np.exp(x)
③np.sum(np.exp(x),axis=0)

□2乗和誤差
$\smash { E(y) = \dfrac{1}{2}\sum_{j=1}^{J}(y_{j}-d_{j})^{2} = \dfrac{1}{2}||y - d||^{2} }$　

・コード

■確認テスト

解答
①、②：return -np.sum(np.log(y[np.arange(batch_size), d] + 1e-7)) / batch_size

Section4)勾配降下法

■確認テスト
オンライン学習とは何か。

解答：学習データが入ってくるたびに都度パラメータを更新し、学習を
　　　進めていく方法。

■確認テスト
下記の数式の意味を図に書いて説明せよ。
　$w^{t+1} = w^{t} - \varepsilon \times \nabla E_{t}$

Section5)誤差逆伝搬法

微分の連鎖律を用いて誤差勾配の計算を行う。

$\smash { E(y) = \dfrac{1}{2}\sum_{j=1}^{J}(y_{j}-d_{j})^{2} = \dfrac{1}{2}||y - d||^{2} }$　：誤差関数 = 二乗誤差関数
$y = u^{(L)}$　：出力層の活性化関数 = 恒等写像
$u^{(l)} = w^{(l)}z^{(l-1)} + b^{(l)}$　：総入力の計算

\frac{\partial E)}{\partial w_{ji}^{(2)}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial u}\frac{\partial u}{\partial w_{ji}^{(2)}}=
(y-d)
\left[
\begin{array}{r}
0 \\
\vdots \\
z_{j} \\
\vdots \\
0 \\
\end{array}
\right]
=(y_{i}-d_{i})z_{i}