多項分布とディリクレ分布の解釈メモ

多項分布の解釈

条件

試行回数$N$と事象$X_i$が発生する確率$p_i$は決まっている．
（この時，まだ事象は発生していないと考える）

多項分布からは，上記の条件のもと，各事象が何回起きるかをサンプリングできる（$n_i$をサンプリングできる）

例

試行回数が6，事象が$X_1,X_2,X_3$の３つ，各事象が発生する確率を$1/2,1/3,1/6$とする．
この時，$n_1=3,n_2=2,n_3=1$が最も発生しやすいため，多項分布からサンプリングされやすい．

（だが，$n_1=2,n_2=2,n_3=2$や$n_1=1,n_2=3,n_3=2$なども，サンプリングされる回数は少ないが，サンプリングされることもある．）

ディリクレ分布の解釈

条件

各事象が起きる回数$\alpha_i-1$が決まっている．(自分で決める)

ディリクレ分布からは，上記の条件のもと，各事象が起きる確率をサンプリングできる（$\mu_i$をサンプリングできる）

例

各事象が起きる回数$\alpha_1-1 = 3, \alpha_2-1 = 2, \alpha_3-1 = 1$，(つまり$\alpha-1=6$）とする．
この時，ディリクレ分布からは$\mu_1=1/2,\mu_2=1/3,\mu_3=1/6$が各事象が起きる回数から尤もらしいため，サンプリングされやすい．

（だが，$\mu_1=1/3,\mu_2=1/2,\mu_3=1/6$とかもサンプリングされることがある）

ディリクレ分布は多項分布の共役事前分布

ベイズ推定より，尤度$p(x|\theta)$を多項分布，事前分布$p(\theta)$をディリクレ分布とすると，事後分布$p(\theta|x)$（$x$という新しい情報が入り，事象が起きる確率$\theta$の分布が更新されている）もディリクレ分布になる．