データ次元ダウン-KernelPCA


モデル原型class sklearn.decomposition.KernelPCA(n_components=None,kernel=’linear’,gamma=None,degress=3,coef 0=1,kernel_params=None,alpha=1.0,fit_inverse_transform=False,eign_solver=’auto’,tol=0,max_iter=None,remove_zero_eig=False)パラメータ
  • n_components
  • kernel:コア関数の指定
  • ’linear’:リニアコア
    K(x⃗ ,z⃗ )=x⃗ ⋅z⃗ 
  • 「poly」:多項式コア
    K(x⃗ ,z⃗ )=(γ(x⃗ ⋅z⃗ +1)+r)p
  • ‘rbf’:Gaussコア関数
    K(x⃗ ,z⃗ )=exp(−γ||x⃗ −z⃗ ||2)
  • ‘sigmoid’:
    K(x⃗ ,z⃗ )=tanh(γ(x⃗ ⋅z⃗ )+r)
  • ‘precomputed’:kernel matrixが呼び出し可能なオブジェクトを提供することを示す:kernel matrix
  • を計算するために使用される
  • gamma
  • コア関数が’rbf’,’poly’,’sigmoid’の場合:コア関数の係数
  • ‘auto’:係数1/n_features

  • degree:コア関数が多項式である場合、多項式の係数を指定し、他のコア関数に対して無効な
  • coef 0:指定関数の自由項(コア関数が「poly」および「sigmoid」で有効である場合に使用)
  • kernel_params:コア関数が呼び出し可能なオブジェクトである場合に使用されます.
  • alpha:逆変換行列(fit_inverse_transform=Trueの場合に有効)
  • を計算するための嶺回帰のスーパーパラメータ
  • fit_inverse_transform:Trueの場合、逆変換行列
  • を計算するために使用される
  • eigen_solver:フィーチャー値を解くアルゴリズムを指定する
  • ’auto’:自動選択
  • ‘dense’:dense固有値ソルバ
  • 「arpack」:arpack特徴値ソルバで、特徴数がサンプル数よりはるかに小さい場合
  • に用いる.
  • tol:arpock固有値ソルバの収束閾値(0は自動選択閾値)
  • を指定する
  • max_iter:arpockフィーチャー値ソルバの最大反復回数(Noneは自動選択)
  • を指定する
  • remove_zero_eig:Trueの場合、ゼロのフィーチャー値はすべて除去されます.n_coments=Noneは、ゼロのフィーチャー値
  • もすべて除去します.
    属性-lambdas_:核化マトリクスの特徴値-alphas:核化マトリクスの特徴ベクトル-dual_coef_:ぎゃくへんかんぎょうれつ
    メソッド-fit(X[,y])-transform(X)-fit_transform(X,[,y]) - inverse_transform(X)
    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn import datasets,decomposition,manifold

    データのロード
    def load_data():
        iris=datasets.load_iris()
        return iris.data,iris.target

    PCAクラスの使用
    def test_KPCA(*data):
        X,y=data
        kernels=['linear','poly','rbf','sigmoid']
        for kernel in kernels:
            kpca=decomposition.KernelPCA(n_components=None,kernel=kernel)
            kpca.fit(X)
            print('kernel=%s --> lambdas:%s '%(kernel,kpca.lambdas_))
    
    X,y=load_data()
    test_KPCA(X,y)

    ディメンションダウンサンプル分布図
    def polt_KPCA(*data):
        X,y=data
        kernels=['linear','poly','rbf','sigmoid']
        fig=plt.figure()
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2))
        for i ,kernel in enumerate(kernels):
            kpca=decomposition.KernelPCA(n_components=2,kernel=kernel)
            kpca.fit(X)
            X_r=kpca.transform(X)
            ax=fig.add_subplot(2,2,i+1)
            for label,color in zip(np.unique(y),colors):
                position=y==label
                ax.scatter(X_r[position,0],X_r[position,1],label='target=%d'%label,color=color)
            ax.set_xlabel('X[0]')
            ax.set_ylabel('X[1]')
            ax.legend(loc='best')
            ax.set_title('kernel=%s'%kernel)
        plt.suptitle('KPCA')
        plt.show()
    
    polt_KPCA(X,y)

    多項式コアのパラメータの影響
    def plot_KPC_poly(*data):
        X,y=data
        fig=plt.figure()
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2),)
        Params=[(3,1,1),(3,10,1),(3,1,10),(3,10,10),(10,1,1),(10,10,1),(10,1,10),(10,10,10)]
        for i,(p,gamma,r) in enumerate(Params):
            kpca=decomposition.KernelPCA(n_components=2,kernel='poly',gamma=gamma,degree=p,coef0=r)
            kpca.fit(X)
            X_r=kpca.transform(X)
            ax=fig.add_subplot(2,4,i+1)
            for label,color in zip(np.unique(y),colors):
                position=y==label
                ax.scatter(X_r[position,0],X_r[position,1],label='target=%d'%label,color=color)
            ax.set_xlabel("X[0]")
            ax.set_xticks([])
            ax.set_yticks([])
            ax.set_ylabel('X[1]')
            ax.legend(loc='best')
            ax.set_title(r'$(%s(x \cdot z+1)+%s)^{%s}$'%(gamma,r,p))
        plt.suptitle('KPCA-Poly')
        plt.show()
    
    plot_KPC_poly(X,y)

    ガウスコアのパラメータの影響
    def plot_KPCA_rbf(*data):
        X,y=data
        fig=plt.figure()
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2),)
        Gammas=[0.5,1,4,10]
        for i,gamma in enumerate(Gammas):
            kpca=decomposition.KernelPCA(n_components=2,kernel='rbf',gamma=gamma)
            kpca.fit(X)
            X_r=kpca.transform(X)
            ax=fig.add_subplot(2,2,i+1)
            for label,color in zip(np.unique(y),colors):
                position=y==label
                ax.scatter(X_r[position,0],X_r[position,1],label='target=%d'%label,color=color)
            ax.set_xlabel('X[0]')
            ax.set_xticks([])
            ax.set_yticks([])
            ax.set_ylabel('X[1]')
            ax.legend(loc='best')
            ax.set_title(r'\exp(-%s||x-z||^2)$'%gamma)
        plt.suptitle('KPCA-rbf')
        plt.show()
    
    plot_KPCA_rbf(X,y)

    Sigmoidコアのパラメータの影響
    def plot_KPCA_sigmoid(*data):
        X,y=data
        fig=plt.figure()
        colors=((1,0,0),(0,1,0),(0,0,1),(0.5,0.5,0),(0,0.5,0.5),(0.5,0,0.5),
               (0.4,0.6,0),(0.6,0.4,0),(0,0.6,0.4),(0.5,0.3,0.2),)
        Params=[(0.01,0.1),(0.01,0.2),(0.1,0.1),(0.1,0.2),(0.2,0.1),(0.2,0.2)]
        for i,(gamma,r) in enumerate(Params):
            kpca=decomposition.KernelPCA(n_components=2,kernel='sigmoid',gamma=gamma,coef0=r)
            kpca.fit(X)
            X_r=kpca.transform(X)
            ax=fig.add_subplot(3,2,i+1)
            for label,color in zip(np.unique(y),colors):
                position=y==label
                ax.scatter(X_r[position,0],X_r[position,1],label='target=%d'%label,color=color)
            ax.set_xlabel('X[0]')
            ax.set_xticks([])
            ax.set_yticks([])
            ax.set_ylabel('X[1]')
            ax.legend(loc='best')
            ax.set_title(r'$tanh(%s(x\cdot z)+%s)$'%(gamma,r))
        plt.suptitle('KPCA-sigmoid')
        plt.show()
    
    plot_KPCA_sigmoid(X,y)