[キャンプのAI技術を導く]Day 4

5617 ワード
ai math ブスターキャンプ 第1週 テキストリンク

1. Vector

  • Vector

  • 数値を要素とするリストまたは配列.


  • スペース内の一点

  • 原点に対する位置を表す

  • 同じ形状であれば四則演算が可能です

  • norm

  • 原点からの距離

  • L 1(変化量の絶対値)


  • 第2層(ユークリッド距離)


  • normのタイプはその幾何学的性質を決定する


  • 2つのベクトル間の距離、角度


    • 2. Matrix

  • Matrix

  • vectorを要素の二次月配列として使用します.


  • 同じ形状であれば四則演算が可能です

  • マトリックス乗算


  • マトリックス内積


  • マトリックスの理解
  • ベクトル空間で使用する演算子
  • ベクトルは、異なる次元の空間
    • に送信することができる.
  • 逆行列

  • ぎゃくてんぎょうれつ

  • 計算できるのは、行と列の数値が等しく、行列式(行列式)が0でない場合のみです.


  • 類似ドメイン行列(またはMoorpenrose)

    • 3.Gradient Descent(優しい味)

  • 微分

  • 変数の移動に伴う関数の値を測定するツール


  • 与えられたポイントでの接線の傾き

  • 微分値を加えて、傾斜上昇法(勾配上昇)で、極値位置を求める

  • 微分値を減算する傾斜降下法は、極小値の位置を求めるために用いられる
  • 傾斜降下法

  • アルゴリズム#アルゴリズム#
    # gradient: 미분을 계산하는 함수
# init: 시작점, lr: 학습률, eps: 알고리즘 종료조건

var = init
grad = gradient(var)
while abs(grad) > eps:
	var = var - lr*grad
	grad = gradient(var)

  • こうばいベクトル

  • ベクトルが入力の多変数関数の場合、変微分を使用します.

    • 4.Gradient Descent（辛味）

  • 傾斜降下法で線形回帰係数を求める

  • 線形回帰目的式:‖y∮Xβ∥2

  • できるだけ減らすβ→勾配ベクトルを求める必要があります.


  • アルゴリズム#アルゴリズム#
    # norm: L2-norm을 계산하는 함수
# lr: 학습률, T: 학습횟수

for t in range(T):
	error = y - x @ beta
	grad = -transpose(X) @ error
	beta = beta - lr * grad

  • 傾斜降下法は万能ですか?
  • 理論上の凸関数に対して,適切な学習率と学習回数を選択すると,
    • の収束性が保証される.
  • しかし、非線形回帰では、ターゲット関数が凸でない可能性があるため、収束は保証されない

  • かくりつこうばいこうかほう
  • は、すべてのデータではなく、1つまたは一部のデータを使用して
    • を更新する.
  • 非凸目標式はSGDによって最適化することができ、それによって機械学習
    • をより効果的に学習することができる.
  • SGDは
    • を利用して効率的に一部のデータを更新する
  • 原理
  • マイクロレイアウト演算
  • 並列演算可能

    • 5.深さ学習方法

  • Neural Network

  • せんけいモデル


  • 表示可能


  • ソフトmax演算

  • モデル出力を確率解析の演算に変換します.

  • 分類問題を解くために使用


  • ニューラルネットワーク

  • 線形モデルとアクティブ化関数(activationfunction)から合成された関数

  • アクティブ関数

  • ひせんけいかんすう

  • 種類


  • 構造(σアクティブな関数です)


  • 積み重ねた理由は?
  • 理論的には2層のニューラルネットワークを用いて任意の連続関数->汎近似定理
    • を近似することもできる.
  • 層が深いほど、目標関数に近づくために必要なニューロン(ノード)の数が少なくなるため、
    • をより効果的に学習することができる.

  • ぎゃくほうこうでんぱ

  • 深さ学習の原理

  • チェーン法則に基づく自動微分を用いる

  • 各層パラメータの勾配ベクトルは、上から下への順序で計算されます.

    • どのようにあなたはあなたの分割する必要があります.BASHRCまたは.zshrcファイル
    Ubuntu17.10出現/dev/sda 1:clean,****/***files,**/***blocksシステムに入れない解決策