ニューラルネットワーク

Neural Networks

動物の脳を構成するバイオニューラルネットワークでは、ぼやけた影響を受けるコンピュータシステム(実際の人間の脳に逆転波が発生するのでしょうか?いいえ、教授はこれが実際の脳に似た構造ではないと考えています)

空を飛ぶには、鳥のような飛行機は必要ない→知能を作る必要はなく、人間の脳構造を作る必要はない

ニューラルネットワークは、マトリクス演算を行い、非線形演算に変換する関数近似子

である.

Linear Neural Networks

データ:1~N個の1次元x、yデータ

Model : y_hat = wx + b

損失:答えと予測値の差の平方平均

傾斜降下法、最適化変数を更新する方法

損失はwを偏微分し、lrを乗じて現在のwから相殺する.

と同様に、bについても、損失をbに偏微分し、lrを乗じて現在のbから相殺することができる.

の深さ学習では、最後の層のwと開始点の影響を理解するために、隣接層間で偏微分を行い、各値は傾斜降下法

を実行する.

- 적절한 스텝사이즈를 잡아야 함

の多次元入出力の場合、マトリクス演算

が実行する.

- 행렬은 두 개의 벡터 공간을 선형 변환 (연결) 해주는 것으로 이해 가능

深さ学習は隠蔽層とWをさらに増加させる

しかし、ここでは、線形結合を1回の線形結合と区別することなく繰り返す→非線形関数を結合することによって最大化された表現のベクトルを得る、次のステップ

を実行する.

アクティブ化関数(非線形関数)

ReLU

Sigmoid

Hyperbolic Tangent (tanh)

どれが一番いいか、それぞれの問題、それぞれの状況は異なる→しかし深い学習の中で必ず

を使わなければならない.

Multi-Layer Perceptron, MLP

loss functions

損失関数の目的は,我々の予測値と実際の値との差を最小化することである

は必ずしも平方のMSEを使用する必要はなく、倹約値を乗じてもよいし、直接倹約値を加えてもよい.
→

それに対応するモデルになる可能性があります

損失関数の性質を知るには、私が望んでいる結果を得ることができる理由です.
1)回帰問題ではMSEが非常に適している
2)分類問題を考慮しone-hotベクトル(1は1,残りは0)を出力する
→Cross-Entopyの使用→その次元に対応する値のみ拡大
言い換えれば、予測結果は、ベクトルが他の値よりも高いだけでよいことを示している→これを数学的に表すと、CE
▶では、CEは分類問題の解決に最適ですか?考えてから判断する必要がある.
3)確率問題(Probabilistic Task)は最大可能値(MLE)関数を用いて適当な数字

を推定する.

人の顔を見て年齢を当てる問題のうち、単純に年齢を当てると、回帰問題

20歳の確率、30歳の確率などの確率的な問題

を教えてくれれば

リファレンス

BoostCamp AI Tech