これらは、lieklihoodについての昨年の整理でよく理解できなかった内容です.サブレンズの内容をメインにした内容を再整理しました.

かくりつ論

深さ学習は確率論に基づいた機械学習理論に基づいている.

かくりつぶんぷ

データ空間(X x y)では、確率分布Dは、データ空間からデータを抽出する分布である.
このときyが提出されるので,正解ラベルのある指導学習を基準として説明する.

かくりつへんすう

確率変数=データ空間内の観測可能なデータ.

データを抽出するときに確率変数を使用します.

確率分布とは、確率変数を抽出する分布を指す.

確率変数の種類

確率変数は確率分布Dによって離散と連続に分けられる.
データ空間別ではありません.
整数空間の確率変数は必然的に離散型であると仮定する.しかし,実数空間の拡散変数−0.5と0.5を選択できれば離散型である.

りさんかくりつへんすう

確率変数が持つことができる場合は、モデリング時にすべての数の確率の和を考慮する必要があります.
確率質量関数と呼ぶ.

れんぞくかくりつへんすう

データ空間で定義された確率変数の密度を積分モデリングした.
密度は次のようになります.

密度は累積確率分布の変化率であり、確率ではない!

分散のマージ

全体データX,Yが与えられた場合、結合分布と呼ばれる分布を与えることができる.
結合分布モデリング確率分布D.

上の図の実際のデータは青い点です.連続確率変数のように見えるが,結合分布を赤色の箱と想像すれば,離散確率変数のように扱うことができる.
このとき,実際のデータ分布の種類は結合分布の種類とは無関係である.これはモデリング方法によって異なります.
コンピュータでデータを処理するので,元の確率分布Dを近似するためには結合分布P(X,y)を適切に設定すれば差し支えない.

周辺確率分布(Marginal確率分布)

P(x)=xの周辺確率分布を入力し,yに関する情報はない.
上図に示すように、xをカウントしてもよいし、積分の情報を与えてもよい.
逆にyの周辺確率分布についても合意できる.
すなわち、yを数または積分するP(y)を定義する.

じょうけんかくりつぶんぷ

P(x|y)=入力xと出力yの関係をモデリングする
上の図に示すように,条件付き確率分布はy=1のときのxの情報をモデリングすることができる.

条件確率と機械学習

P(y|x)=入力変数xの正解がyの確率
Logistic Regressionでは,線形モデルとsoftmaxの組み合わせを用いて,データから抽出したモードに基づいて確率を説明した.
条件確率P(y|x)の方法を求めます

分類問題におけるsoftmax(W)Φ + b)は、データxから抽出される特徴パターンであるΦ(x)と重み付け行列Wによる

の計算
P(y|x)は

P(y|x)ではなくΦ(x)でもかまいません.

深く勉強する.

NNによりデータから特徴パターンを抽出Φ抽出

期待値

与えられたデータを確率分布で解析すると,複数の統計汎関数を計算できる.
このとき、期待値は、データを表す統計量である.平均.
確率分布によって他の統計的汎関数を計算するためにも使用できる.

連続活性分布では積分,離散確率分布では級数で計算した.

例文

分散、尖度、孔分散などの計算に用いられる.

回帰問題の条件期待値推定

条件期待値はL 2ノルムを最小化する関数と一致した.
回帰問題でロバスト推定を行う場合は、条件の期待値ではなく中値を使用します.

モンテカルロサンプリング

多くの機械学習問題は確率分布を知らずに解題を開始する.
すなわち,データのみを用いて所望値を計算する場合,モンテカルロサンプリングを用いる.

数式の説明
サンプリングデータxを1.fに代入する.
2.サンプリングデータの算術平均値を計算します.
3.2回の値が期待値に近い.
モンテカルロは離散型でも連続型でも使用できます.
モンテカルロサンプリングは独立した抽出を保証しなければならない.

代数則(Law of Large Number)に従って収束性を保証した.

モンテカルロサンプリングの例

[1,1]では上記の関数を積分することは解釈上不可能である.このとき、モンテカルロサンプリングを使用します.

関数の積分式をモンテカルロサンプリングに構成するために,2を関数の積分式に分割した.
積分では成分の個数を特定できないので、積分したいxの範囲を使う長さは成分の個数のようです.

[1,1]では、N個のデータを均一分布で抽出して算術平均を求める.

def mc_int(fun, low, high, sample_size=100, repeate=10):
    int_len = np.abs(high - low)
    stat = []
    for _ in range(repeat):
    	x = np.random.uniform(low=low, high=high, size=sample_size)
        fun_x = fun(x)
        int_val = int_len * np.mean(fun_x)
        stat.append(int_val)
    return np.mean(stat), np.std(stat)
def f_x(x):
    return np.exp(-x**2)
    
print(mc_int(f_x, low=-1, high=1, sample_size=10000, repeat=100))