【機械学習】LDAを勉強してみる

7657 ワード
MachineLearning データサイエンス 機械学習 LDA 機械学習 テキストリンク

LDAとは

LDA(Linear Discriminant Analysis)とは機械学習において変数の次元削減に使われるテクニックです。次元削除の代表的なテクニックにPCAもありますが、PCAとの大きな違いは、PCAは教師なし学習であるのに対し、LDA 教師ありの識別モデルです。

LDAのメカニズム

LDAの目的はクラス間分散を最大にしながら、クラス内分散を最小にする境界線を引くことです。
1)クラス間分散

S_b = \sum^g_{i=1} N_i(\overline{x}_i - \overline{x})(\overline{x}_i - \overline{x})^T

2) クラス内分散

S_w = \sum^g_{i=1} (N_i-1)S_i = \sum^g_{i=1} \sum^{N_i}_{i=1}(\overline{x}_{i,j} - \overline{x}_i)(x_{i,j} - \overline{x}_i)^T

3) 低次元空間への写像

P_{lda} = arg max \dfrac {\left| P^TS_bP\right| }{\left| P^TS_wP\right|}

4) 判別式
LDAの判別式は、下のように各クラスに対するガウス分布になります。


P(X|y = k) = \dfrac {1}{(2\pi)^{1/2}|\Sigma_k|^{1/2} exp(-\dfrac{1}{2}(X-\mu_k)^t \sum^{-1}_{k}(X-\mu_k))}

scikit learn で LDA

LDAのパラメター

パラメター 概要 値 デフォルト
solver 学習の最適化計算のタイプ "svd", "lsqr", "eigen" "svd"(大きいデータセットに適する)
shrinkage "lsqr", "eigen"で使われる、学習データの不足補正 None, "auto", floa(0~1) None
n_components 削減する次元数 int -
store_covariance 共分散行列を計算するかどうか bool -
tol SDVのしきい値 float - 
from sklearn import datasets
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from matplotlib import pyplot as plt

iris = datasets.load_iris()
X = iris.data
y = iris.target

target_names = iris.target_names
lda = LinearDiscriminantAnalysis(n_components=2)
X_r = lda.fit(X, y).transform(X)

可視化


colors = ['blue', 'red', 'green']

for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r[y == i, 0], X_r[y == i, 1], alpha=.8,
                label=target_name)
plt.xlabel('LDA1')
plt.ylabel('LDA2')
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('LDA of IRIS dataset')

plt.show()

LDA の利点と欠点

利点

  • 多クラス分類問題では、PCAより性能が良い。

欠点

  • 小さいサンプルサイズには向いていない。
  • クラスの事後確率が正規分布に従う必要がある。
  • 全てのデータに対し、分散共分散行列は同じである必要がある。(→QDA)

LDAの応用

  • QDA(Quadratic Discriminant Analysis): クラスごとに分散共分散を計算。
  • FDA(Flexible Discriminant Analysis):入力データが線形分離できない時。
  • RDA(Regularised Discriminant Analysis)：正規化して分散共分散を計算することで、多変数の影響を抑える。

参照

Priyankur Sarkar, "hat is LDA: Linear Discriminant Analysis for Machine Learning", 2019
https://www.knowledgehut.com/blog/data-science/linear-discriminant-analysis-for-machine-learning