ベージュ非機械学習モデル

5657 ワード
CS テキストリンク

機械学習目標


  • モデル作成後のパラメータの剛性を調整してデータ分布を間接的に表す

  • モデル表現の確率分布をデータの実際の分布に近づける最適なパラメータ値を検索

    • 機械学習なし


  • データ学習パラメータ空間による確率分布

  • モデルパラメータを固定値ではなく不確実性を持つ確率変数と見なす

  • データを観察し、更新値を表示します.

    • 確率変数のモデルパラメータ


  • R^2空間のすべての点(a,b)は、最初の関数y=ax+bを一意に決定するので、この空間のすべての点は、最初の関数からなる関数空間の異なる要素に対応する.

  • パラメータ空間
  • R^2空間には元素(a,b)があり,与えられたパラメータ空間の確率分布と考えられる.
    - 평균이 (1,0)인 정규분포

- a와 b의 값이 1과 0에 가깝다

    Posteror、Prior、Likelihoodの関係

  • データセットXが与えられると、データに伴う確率分布p(X)を最も反映できる最初の関数モデル
    • が検索される.
  • Prior(事前確率)
    • 定義
  • :データ観測前空間で与えられた確率分布p(θ)正規分布または特性分布
  • Likelihod(可能、可能)

  • 定義:prior分布を固定し、与えられたパラメータ分布からデータ状態が良好かどうかの値を計算する

  • 式:パラメータ分布が決定されると、xというデータの確率が観察されます.

  • 機能:
    	- θ에 의해 결정되는 함수라서 가능도 함수를 L(θ∣x)라고도 표현

	- likelihood가 높다는 것은 파라미터 조건에 지정한 데이터가 관측될 확률 높음
  • 最大可能度推定(MLE):最大化尤度値を方向とするモデル学習方法
  • 尤度値が小さい:モデル予測値とデータラベルの差が大きい、
  • の尤度値が大きい意味:モデル予測値とデータラベルの差が小さい.
  • Posterior(死後確率)

  • 定義:データを観察して計算する確率

  • 特徴:直接計算、最適化θ検索値ではなく、数式が変形した後に数式を最大化するパラメータです.θ 検索

  • 最大リアクティブ確率推定(MAP):最大化リアクティブ確率方向にモデルを学習する
  • 後験と先験、尤度の関係
  • 確率乗算定理
  • ベッツ定理

  • 説明:
    	- 정확한 확률 분포 알 수 없어서 posteriror의 값을 직접 구함 X
  • p(X)部分に分かれているため、
    • は算出できない.
  • p(X)は固定値であり、
    • を計算することができる.
  • パラメータ値最大化右端
    • を求めることができる

    Likelihoodと機械学習


    リンクテキスト
    0.Preview

  • 有限パラメータで実際の分布を近似する

  • 100%正確ではない

  • 入力データ~>予測出力データと実値との誤差

  • 原因:データにノイズが発生しているためです.
    • 1つの似然p(yn∣)θ,xn)出力値分布における測定

  • モデル:線形モデルy=θ^⊤ * x

  • 出力値の分布:モデルの予測値にノイズ分布を加える

  • ざつおんぶんぷ
    	- 평균: 0

  • 標準偏差:σ

  • 出力値の分布:
    - 평균: θ^⊤ * xn

- 표준편차:  σ
    - p(y)추가: 출력값 분포 나타냄

    • MLE

  • さっき食べたものをまとめてご紹介します

  • モデルパラメータ:θ

  • データポイント(xn,yn)

  • 良いモデルは、すべてのデータポイントの尤度値を大きくすることができます.
    • -> HOW?
    :データ点は互いに独立しており、確率分布は同じ(i.i.d)
    : likelihood p(Y∣θ,X)各データ点の尤度を乗じる.

  • log likelionのパラメータではなくlog likelionを最大化することを求めます
    	- 로그의 성질이용( 곱셈 연산이 덧셈으로 바뀌어 미분 계산 편리)

	- likelihood값이 0에 가까워지고 이 수들 곱하면 CPU연산이 불가하여 언더플로우 발생하는 문제를 해결해줌


	-  로그함수는 단조증가이므로 likelihood를 최대화하는 파라미터와 log likelihood를 최대화하는 파라미터 값이 같아서 학습 결과에 영향을 주지 않음

	- 로그 계산식

  • 最大化
  • 損失関数最小化
  • 最小二乗法
  • 最適パラメータ
  • ブートプロセス

    • MLEの最優秀解を求めます

  • コード実装
    • リンクテキスト

    MAP


  • MLモデルの最適パラメータを探す方法

  • p(θ∣X)確率値を最大化するパラメータθ検索

    • パイロット分布の出現


  • 背景:線形回帰問題ではMLEの依存性が強い(利点はあるがノイズが大きい場合,異常データはモデルの安定性を低下させる)

  • 機能:
    	- 관찰된 데이터가 없을 때 파라미터 공간에 주어진 확률 분포

  • 負のlogの後で誤差の最小化のパラメータを求めます
    		- 미분


  • MAP最適パラメータ
  • I(MLEとは異なる)
    • を追加

    MAP as L 2正規化(最小二乗法の正規化)

  • 式

  • 損失関数にパラメータサイズに関する式を追加するには
    ->過度な継ぎ手は避ける

  • 平均(0,0)正規分布!

  • 0に近い学習

    • MAPコード


    リンクテキスト
    go基本文法学習ノートの同時プログラミング
    GraphQLプロジェクト-5