Pythonサポートベクトルマシン分類器の実現

サポートベクトルマシン（Support Vector Machine，SVM）は、データを監督学習（supervised learning）方式で二元分類する一般的な線形分類器であり、その決定境界は学習サンプルを解くための最大のエッジ超平面である。
SVMは、ヒンジ損失関数（hinge loss）を使用して経験的なリスク（emapirical risk）を計算し、ソリューションシステムに正規化項を追加して構造リスクを最適化し、疎性とロバスト性を有する分類器である。SVMは核法による非線形分類が可能であり，一般的な核学習法の一つである。
SVMは1964年に提案され、20世紀90年代以降に急速に発展し、一連の改良と拡張アルゴリズムを生み出し、人物識別、テキスト分類などのモード認識に応用されている。

import numpy as np
from scipy import io as spio
from matplotlib import pyplot as plt
from sklearn import svm
 
 
def SVM():
  '''data1――    '''
  data1 = spio.loadmat('data1.mat')
  X = data1['X']
  y = data1['y']
  y = np.ravel(y)
  plot_data(X, y)
 
  model = svm.SVC(C=1.0, kernel='linear').fit(X, y) #            
  plot_decisionBoundary(X, y, model) #      
  '''data2――     '''
  data2 = spio.loadmat('data2.mat')
  X = data2['X']
  y = data2['y']
  y = np.ravel(y)
  plt = plot_data(X, y)
  plt.show()
 
  model = svm.SVC(gamma=100).fit(X, y) # gamma       ，        
  plot_decisionBoundary(X, y, model, class_='notLinear') #      
 
 
#   
def plot_data(X, y):
  plt.figure(figsize=(10, 8))
  pos = np.where(y == 1) #   y=1   
  neg = np.where(y == 0) #   y=0   
  p1, = plt.plot(np.ravel(X[pos, 0]), np.ravel(X[pos, 1]), 'ro', markersize=8)
  p2, = plt.plot(np.ravel(X[neg, 0]), np.ravel(X[neg, 1]), 'g^', markersize=8)
  plt.xlabel("X1")
  plt.ylabel("X2")
  plt.legend([p1, p2], ["y==1", "y==0"])
  return plt
 
 
#      
def plot_decisionBoundary(X, y, model, class_='linear'):
  plt = plot_data(X, y)
 
  #         
  if class_ == 'linear':
    w = model.coef_
    b = model.intercept_
    xp = np.linspace(np.min(X[:, 0]), np.max(X[:, 0]), 100)
    yp = -(w[0, 0] * xp + b) / w[0, 1]
    plt.plot(xp, yp, 'b-', linewidth=2.0)
    plt.show()
  else: #      
    x_1 = np.transpose(np.linspace(np.min(X[:, 0]), np.max(X[:, 0]), 100).reshape(1, -1))
    x_2 = np.transpose(np.linspace(np.min(X[:, 1]), np.max(X[:, 1]), 100).reshape(1, -1))
    X1, X2 = np.meshgrid(x_1, x_2)
    vals = np.zeros(X1.shape)
    for i in range(X1.shape[1]):
      this_X = np.hstack((X1[:, i].reshape(-1, 1), X2[:, i].reshape(-1, 1)))
      vals[:, i] = model.predict(this_X)
 
    plt.contour(X1, X2, vals, [0, 1], color='blue')
    plt.show()
 
 
if __name__ == "__main__":
  SVM()

以上が本文の全部です。皆さんの勉強に役に立つように、私たちを応援してください。