Handsonマシン学習Chatper 5-SVM

5. 1. リニアSVM分類

SVMは特性尺度に敏感であり、Scalerを用いて尺度を調整すると良い結果が得られる.

5. 1. 1.ソフト利益分類

ハード利益区分
すべてのサンプルが道路の外部に分類されたときに発生します.データが線形に区分されなければならない条件は必須であり、異常値に敏感な特徴は、利益率の誤りが発生し、普及しにくいことである.

iris = datasets.load_iris()
X = iris['data'][:,(2,3)]
y = (iris['target'] == 2).astype(np.float64)

svm_clf = Pipeline([('scaler', StandardScaler()), ('linear_svc', LinearSVC(C=1, loss='hinge'))])
svm_clf.fit(X, y)

svm_clf.predict([[5.5, 1.7]])

X, y = make_classification(n_samples=200, n_features=2, n_informative=2, n_redundant=0, n_repeated=0, n_classes=2,random_state=42)

clf_1 = SVC(C=0.1, kernel='linear').fit(X, y)
clf100 = SVC(C=100, kernel='linear').fit(X, y)

fig, axes = plt.subplots(2, 1, figsize=(10, 15))

axes[0].set_title("Linear kernel with C=0.1", fontsize=18)
axes[0].scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='cool')
plot_svc_decision_function(clf_1,ax=axes[0])

axes[1].set_title("Linear kernel with C=100", fontsize=18)
axes[1].scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='cool')
plot_svc_decision_function(clf100,ax=axes[1])

5. 2. 非線形SVM分類

X, y = datasets.make_moons(n_samples=100, noise=0.15)
polynomial_svm_clf = Pipeline([('poly_features', PolynomialFeatures(degree=3)), ('scaler', StandardScaler()), ('svm_clf', LinearSVC(C=10, loss='hinge'))])
polynomial_svm_clf.fit(X, y)

5. 2. 1多項式カーネル

X, y = datasets.make_moons(n_samples=100, noise=0.15)

poly_kernel_svm_clf = Pipeline([
    ('scaler', StandardScaler()), 
    ('svm_clf', SVC(C=5, kernel='poly', degree=3, coef0=1))
])
poly_kernel_svm_clf.fit(X, y)

poly100_kernel_svm_clf = Pipeline([
    ('scaler', StandardScaler()), 
    ('svm_clf', SVC(C=5, kernel='poly', degree=10, coef0=100))
])
poly100_kernel_svm_clf.fit(X, y)

plt.figure(figsize=(11,4))

plt.subplot(121)
plot_predictions(poly_kernel_svm_clf, [-1.5, 2.5, -1, 1.5])
plot_dataset(X, y, [-1.5, 2.5, -1, 1.5])
plt.title(r'd = 3, r = 1, C = 5',fontsize=18)

plt.subplot(122)
plot_predictions(poly100_kernel_svm_clf, [-1.5, 2.5, -1, 1.5])
plot_dataset(X, y, [-1.5, 2.5, -1, 1.5])
plt.title(r'd = 10, r = 100, C = 5',fontsize=18)

5. 2. 2.類似度特性

非線形特性を扱うために、各サンプルが特定のランドマークとどれだけ類似しているかを測定する類似度関数で計算した特性を追加する.
Example
1 Dデータセットに2つのランドマークがあります𝑥₁=-2わあ𝑥₁=1を追加した後𝛾 = 0.3のGauss放射基底関数(Radical Basis Function,RBF)も定義されている場合、Gauss RBF関数は以下のように定義される.

この関数の値は0から1に変化し、時計形をします.
𝑥8321=-1の場合、この例は1番目のランドマークからわずか1、2番目のランドマークからわずか2です.したがって、新しく作成されたプロパティ𝑥₂ = exp(-0.3 × 1²) ≒0.74 W𝑥₃ = exp(-0.3 × 2²) ≈0.30.高西安RBFの類似度特性を用いて以下のように図表化した.

5. 2. 3.高西安RBFコア

gamma_lst = [0.1, 0.1, 5, 5]
C_lst = [0.001, 1000, 0.001, 1000]

for g, c in zip(gamma_lst, C_lst):
    rbf_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="rbf", gamma=g, C=c))
    ])

    rbf_kernel_svm_clf.fit(X, y)
    mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
    mglearn.plots.plot_2d_separator(rbf_kernel_svm_clf, X)
    plt.title('gamma : {}, C : {}'.format(g, c))
    plt.show()

5. 2. 4.計算の複雑さ

5. 3. VM回帰

np.random.seed(42)
m = 100
X = 2 * np.random.rand(m, 1) - 1
y = (0.2 + 0.1 * X + 0.5 * X**2 + np.random.randn(m, 1)/10).ravel()

svm_poly_reg1 = SVR(kernel="poly", degree=2, C=100, epsilon=0.1)
svm_poly_reg1.fit(X, y)

svm_poly_reg2 = SVR(kernel="poly", degree=2, C=0.01, epsilon=0.1)
svm_poly_reg2.fit(X, y)

plt.figure(figsize=(12,4))

plt.subplot(121)
plot_svm_regression(svm_poly_reg1, X, y, [-1, 1, 0, 1])
plt.title(r"$degree={}, C={}, \epsilon = {}$".format(svm_poly_reg1.degree, svm_poly_reg1.C, svm_poly_reg1.epsilon), fontsize=18)
plt.ylabel(r"$y$", fontsize=18, rotation=0)

plt.subplot(122)
plot_svm_regression(svm_poly_reg2, X, y, [-1, 1, 0, 1])
plt.title(r"$degree={}, C={}, \epsilon = {}$".format(svm_poly_reg2.degree, svm_poly_reg2.C, svm_poly_reg2.epsilon), fontsize=18)

plt.show()