正規分布のエントロピーを丁寧に計算する
はじめに
正規分布 エントロピーなどと検索すると、エントロピーを最大にする分布として正規分布自体を導出する解説は多く出てきます。
しかし、逆に正規分布からそのエントロピーを求める話は意外と見かけません。
今回、正規分布のエントロピーを計算したのでここに残しておきます。
正規分布のエントロピー
平均$\mu$、分散$\sigma^2$の正規分布は以下の式で表されます。
p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)
この分布の（微分）エントロピーは以下のようになります。
H[x] = \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}
導出
エントロピーの式に当てはめて計算していきます。
（明らかに$\mu=0$として簡単化しても結果は同じですが敢えて一般的な形で計算します）
\begin{align*}
H[x] &= -\int_{-\infty}^\infty p(x)\ln p(x)dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \ln \left\{ \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \right\} dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \left\{ -\frac{1}{2}\ln\left(2\pi\sigma^2 \right) -\frac{(x-\mu)^2}{2\sigma^2} \right\}dx \\
&= \frac{1}{2}\ln \left( 2\pi\sigma^2 \right) \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)dx + \frac{1}{\sqrt{8\pi\sigma^6}}\int_{-\infty}^\infty (x-\mu)^2\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) dx
\end{align*}
ここで、前半の積分は正規分布の積分そのものなので1になります。
後半の積分について、$t:=x-\mu$と置換します。
$t\cdot t\exp(-t^2/2\sigma^2)$とみて部分積分1を使い、
\begin{align*}
&\int_{-\infty}^\infty t^2\exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \left[ -t\sigma^2 \exp \left( -\frac{t^2}{2\sigma^2} \right) \right]_{-\infty}^\infty +\sigma^2 \int_{\infty}^\infty \exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \sqrt{2\pi\sigma^6}
\end{align*}
ゆえに、
\begin{align*}
H[x] &= \frac{1}{2}\ln\left( 2\pi\sigma^2 \right)\cdot 1 + \frac{1}{\sqrt{8\pi\sigma^6}}\cdot \sqrt{2\pi\sigma^6} \\
&= \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}
\end{align*}
となります。
おわりに
正規分布のエントロピーを計算しました。
エントロピーが分散だけで決まり、分散が大きくなるとエントロピーも増大するのは直感とも合っています。
また、$\sigma^2 < 1/(2\pi e)$のときエントロピーが負（！）になります。
連続分布のエントロピー（微分エントロピー）は実は負にもなり得るんですね。
Author And Source
この問題について(正規分布のエントロピーを丁寧に計算する), 我々は、より多くの情報をここで見つけました https://qiita.com/kzkadc/items/40376e2f5b2419e0e152著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .