AI Mathの勉強方法を理解する

ソフトMax演算

「ソフト最大」(softmax)関数は、モデルの出力を確率解析に変換する演算です.
分類問題を解く場合,線形モデルとソフトMax関数を組み合わせて予測する.
softmax=Wx+bsoftmax=Wx+bsoftmax=Wx+b

💻 アルゴリズム#アルゴリズム#

def softmax(vec):
	denumerator = np.exp(vec - np.max(vec, axis=1, keepdims=True))
    numerator = np.sum(denumerator, axis=1, keepdims=True)
    val = denumerator / numerator
    return val

ニューラルネットワーク

ニューラルネットワークは線形モデルと活性化関数(activation function)から合成された関数である.
σ(z)=σ(Wx+b)\sigma(z)=\sigma(Wx+b)σ(z)=σ(Wx+b)
H=(σ(z1),...,σ(zn))H=(\sigma(z_1), ...,\sigma(z_n))H=(σ(z1​),...,σ(zn​))

アクティブ化関数

非線形関数として,これは深さ学習において非常に重要な概念である.
アクティブ関数を使用しない場合、深さ学習は線形モデルと区別されません.

しんごう

伝統的な活動関数といえる.
値は000～111です.
σ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}σ(x)=1+e−x1​

スーパ正接

伝統的な活動関数といえる.
値は-1～111です.
tahn(x)=ex−e−xex+e−xtahn(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tahn(x)=ex+e−xex−e−x​

スライディング

深走りでよく使われる
0より小さい値は000を返し、000より大きい値はxxxを返します.
ReLu=max{x,0}ReLu=max\{x, 0\}ReLu=max{x,0}

多層パーセンテージ論(MLP)

ニューラルネットワークは多層合成の関数である.
H(1)=σ(Z(1))H^{(1)}=\sigma(Z^{(1)})H(1)=σ(Z(1))
Z(1)=XW(1)+b(1)Z^{(1)}=XW^{(1)}+b^{(1)}Z(1)=XW(1)+b(1)

どうしてたくさんの階を建てるのですか。

📝 層が深ければ深いほど,ターゲット関数に近似するために必要なニューロン(ノード)の数が少なくなり,学習効率が高くなるからである.

ぎゃくでんぱアルゴリズム

深さ学習逆伝播を理解し、各レイヤで使用されるパラメータを直径を使用して学習します.
各レイヤパラメータのグラデーションベクトルは、上から下の順に計算されます.このとき,合成関数に基づく微分法,鎖法則に基づく自動微分を用いる.

参考資料
NAVER Boost campハイテク