けいしゃこうかほう

重要な概念

傾斜降下法に基づく線形回帰アルゴリズム

確率的傾斜降下法

n/a.ターゲット

行列部分で学習したモル‐ペンロス逆行列を用いた線形回帰解析と比較して,線形モデルに加えて適用可能な傾斜降下法‐線形回帰解析法を学習した.このとき現れる傾斜降下法のアルゴリズム式を正しく理解し,スキップした.

深走における傾斜降下法の限界を理解し,これらの限界を克服する確率傾斜降下法を学習した.

推奨事項

確率傾斜降下法は現在広く深さ学習に応用されている方法であり,十分な学習と超越が必要である.
※d次元ベクトル(β)については、それぞれ自分で計算してください!

傾斜降下法で線形回帰係数を求める

リニア回帰 目的式. ∣∣y−Xβ∣∣2 これは. 最小化 β見つけるしかない. だから 授業が終わる 同じように グラデーション ベクトル 助けなければならない.線形回帰の目的式は||Y-Xbeta||2であり、それを最小化するbetaを見つけなければならず、ベクトルを求めなければならない次のようにグラデーションリニア回帰 目的式. ∣∣y−Xβ∣∣2 これは. 最小化 β見つけるしかない. だから 授業が終わる 同じように グラデーション ベクトル 助けなければならない.

ベクトルの各要素のプリアンブル部分は、行列Xのk個の列ベクトルをプリアンブルする

である.

ターゲット式のβ値を最小化する傾斜降下法アルゴリズムは、以下のように表すことができる.

の式の二乗を最小にすることを考慮すると、より簡単になります.

# norm : 미분을 계산하는 함수
# lr : 학습률 (learning rate)
# T : 학습 횟수 

for t in range(T):
    error = y - X@beta
    grad = - transpose(X)@error
    beta = beta - lr * grad

コード解釈

終了条件を一定の学習回数に変更した後,前学習の傾斜降下法アルゴリズムと同様である.

β値を更新し続けます.

傾斜降下法アルゴリズムを用いて,逆行列を用いずに回帰係数を計算した.

傾斜降下法アルゴリズムでは,学習率と学習回数が重要なパラメータとなっている.

傾斜降下法は万能ですか?

理論的には,傾斜降下法は微分可能であり,凸(凸)関数に対して適切な学習率と学習回数を選択すると収束性を保証できる.

凸関数のグラデーションベクトルは、常に最小点を指します.

の線形回帰では,目的式は回帰係数の凸関数であるため,アルゴリズムの十分な回転は収束を保証できる.

の非線形回帰では、ターゲット関数が凸でない可能性があるため、収束は保証されない.

深度学習を使用する場合、ほとんどの式は凸関数ではありません.

かくりつけいしゃこうかほう

確率勾配降下法(ランダム勾配降下法)は、すべてのデータを用いて更新するのではなく、1つまたは一部のデータを用いて更新される.

非凸目的式はSGDによって最適化することができる.

SGDは万能ではないが,深さ学習はGDより優れていることが実証された.

SGDは、一部のデータを更新し、コンピューティングリソースをよりよく利用するのに役立ちます.
-すべてのデータを書き込む必要がなく、マイクロデプロイメントを使用して更新されるため、演算量はb/nに減少します.

微調整演算

傾斜降下法は、すべてのデータを用いて目的のグラデーションベクトルを計算する.

SGDは、ミニレイアウトを使用してグラデーションベクトルを計算する.

マイクロレイアウトは確率的に選択され、これはターゲット形状を変化させる.

マイクロレイアウトは、傾斜降下法に比べて機械をより効果的に学習する非凸目的式に使用することができる.