カテゴリカル分布は多項分布のN=1バージョン(機械学習の学習 #2)


はじめに

数学素人が、機械学習の学習で出会ったことを記載しています。
タイトルをみて「当たり前やん」と思う方は、本記事を読む必要はないです。
今回は、自分があれっと思ったことをその順で記載しています。

カテゴリカル分布の説明がWEBで見つからない。

二項分布とかベルヌーイ分布とかは検索してヒットするのですが、カテゴリカル分布(マルチヌーイ分布とも呼ぶそう)の情報はあまりでてきません。Wikipediaにも載っていないっぽい。確率分布は?分散は?と思ったわけです。一応、

  • ベルヌーイ分布 →多値をとる版→ カテゴリカル分布

ということはわかっています。

多項分布っていうのがあるらしい。

多項分布というのがあって、

  • ベルヌーイ分布 →多試行版→ 二項分布
  • 二項分布 →多値をとる版→ 多項分布

の関係があることがわかりました。

ってことは・・・

カテゴリカル分布 ←1回試行版← 多項分布
ってことなので、多項分布の様々な式(確率関数とか、分散とか)に試行回数N=1を入れれば、自分が知りたかった式が得られます。多項分布はWikipediaにも載っている。やった!

Wikipediaで多項分布を調べる。

確率変数が複数出てきて、・・・んん?よくわからない。

確率分布の関係をきれいにまとめたサイトがありました。

ややこしい離散分布に関するまとめ

体系的&視覚的にまとめてあって、非常に素晴らしいです。
複数出てくる確率変数をベクトルで記載してあったので、筆者的には読みやすかったです。

尚、数式等は上記サイトやWikipediaをご参照ください。筆者が書くより確実です。

おわりに(完全に蛇足)

機械学習の学習を始めたのはいいものの、数学の用語一つ一つに引っ掛かります。どこまで知っていれば機械学習のスタートラインに立てるのかがわからないんですよね・・・。