条件付き正規分布の導出-その2-

3933 ワード
統計学 統計学 テキストリンク

　1. はじめに

以前紹介した多変量正規分布の条件付き分布の導出法で，別のやり方を見つけたので，備忘録がわりに書きます．こっちは最初の発想をのみこめれば，あとの展開はとても平易です．

2. 導出

{\bf x}:=
\begin{pmatrix}
a\\
b
\end{pmatrix}
\sim N_{p+q}
\begin{pmatrix}
\begin{pmatrix}
\mu_a\\
\mu_b
\end{pmatrix},
\begin{pmatrix}
\Sigma_{aa}, &\Sigma_{ab}\\
\Sigma_{ba}, &\Sigma_{bb}
\end{pmatrix}
\end{pmatrix}

のように，$(p+q)$次元確率変数ベクトル${\bf x}$が，$p$次元確率変数ベクトル$a$と$q$次元確率変数ベクトル$b$に分割可能であるとします．以下，必要となる逆行列の存在は仮定します．この時，$b$を条件づけた時の$a$の分布，つまり，$a|b$の分布は，
$$a|b \sim N_p(\mu_a + \Sigma_{ab}\Sigma_{bb}^{-1}(b-\mu_b), \Sigma_{aa} -\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba})$$
となります．今回は，これを以前紹介した方法と別の方法で導出します．
まず，
$$z := a - \Sigma_{ab}\Sigma_{bb}^{-1}b$$
なるベクトルを定義します．この時，$z$と$b$の同時分布は，

\begin{pmatrix}
z\\
b
\end{pmatrix}
=
\begin{pmatrix}
I_p, &-\Sigma_{ab}\Sigma_{bb}^{-1}\\
O_{qp}, &I_q
\end{pmatrix}
\begin{pmatrix}
a\\
b
\end{pmatrix}

のように，元々の$(a,b)^t$の同時分布の線形変換として得られます．但し，ここで，$O_{qp}$は$q\times p$のゼロ行列を表します．
正規分布に従う確率変数ベクトルの線形変換によって得られる確率変数ベクトルは，変わらず正規分布に従うため，$(z,b)^t$も正規分布に従います．ここで，$z$の期待値は，$E[z] = E[a] - \Sigma_{ab}\Sigma_{bb}^{-1}E[b] = \mu_a - \Sigma_{ab}\Sigma_{bb}^{-1}\mu_b$であり，$(z,b)^t$の共分散行列は，

\begin{align*}
V[(z,b)^t] &= V\left(\begin{pmatrix}
I_p, &-\Sigma_{ab}\Sigma_{bb}^{-1}\\
O_{qp}, &I_q
\end{pmatrix}
\begin{pmatrix}
a\\
b
\end{pmatrix}\right)\\
&=\begin{pmatrix}
I_p, &-\Sigma_{ab}\Sigma_{bb}^{-1}\\
O_{qp}, &I_q
\end{pmatrix}V((a,b)^t)\begin{pmatrix}
I_p, &O_{qp}\\
-\Sigma_{bb}^{-1}\Sigma_{ba}, &I_q
\end{pmatrix}\\
&= 
\begin{pmatrix}
I_p, &-\Sigma_{ab}\Sigma_{bb}^{-1}\\
O_{qp}, &I_q
\end{pmatrix}
\begin{pmatrix}
\Sigma_{aa}, &\Sigma_{ab}\\
\Sigma_{ba}, &\Sigma_{bb}
\end{pmatrix}
\begin{pmatrix}
I_p, &O_{qp}\\
-\Sigma_{bb}^{-1}\Sigma_{ba}, &I_q
\end{pmatrix}\\
&=\begin{pmatrix}
\Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba}, & O_{pq}\\
\Sigma_{ba}, & \Sigma_{bb}
\end{pmatrix}
\begin{pmatrix}
I_p, &O_{qp}\\
-\Sigma_{bb}^{-1}\Sigma_{ba}, &I_q
\end{pmatrix}\\
&=\begin{pmatrix}
\Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba}, &O_{pq}\\
O_{qp}, &\Sigma_{bb}
\end{pmatrix}
\end{align*}

となります．このことから，$z,b$は互いに独立であることがわかります．よって，$z|b$の条件付き分布と$z$の周辺分布は一致します．つまり，
$$z|b\sim N_p(\mu_a - \Sigma_{ab}\Sigma_{bb}^{-1}\mu_b, \Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba})$$
となります．ここで，$a = z + \Sigma_{ab}\Sigma_{bb}^{-1}b$であることを思い出すと，期待値の線形性と分散の定数(今回は定数ベクトル)を加減することに影響を受けない性質，つまり，

\begin{align*}
E[a] &= E[z + \Sigma_{ab}\Sigma_{bb}^{-1}b] = E[z] + \Sigma_{ab}\Sigma_{bb}^{-1}b = \mu_a - \Sigma_{ab}\Sigma_{bb}^{-1}\mu_b + \Sigma_{ab}\Sigma_{bb}^{-1}b\\
V[a] &= V[z + \Sigma_{ab}\Sigma_{bb}^{-1}b] = V[z] = \Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba}
\end{align*}

から，$a|b$の分布は，
$$N_p(\mu_a + \Sigma_{ab}\Sigma_{bb}^{-1}(b-\mu_b), \Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba})$$
となります．これで導出完了です！
個人的には，こちらの導出の方が簡単かなぁと思います(zの導入を除けば)．

参考文献

  • Hogg, McKean, Craig(2013). Introduction to Mathematical Statistics 7th edition, Pearson Education, Inc.

前提知識をそこまで必要としないので(その分分厚いですが)，おすすめです．文章も読みやすく，例も多いので，イメージを膨らませやすいです．

PythonCookbook第8章(メタプログラミング)
Python拡張データ型