機械学習は実戦で工夫を凝らして練習します.task 1.k-近隣アルゴリズム

機械学習は実戦で工夫を凝らして練習します.task 1.k-近隣アルゴリズム
k-近隣アルゴリズムの概要
簡単に言えば,k‐近隣アルゴリズムは異なる固有値間の距離測定法を用いて分類した.その動作原理は、サンプルデータのセットが存在し、トレーニングサンプルセットとも呼ばれ、各データにラベルが存在します.つまり、サンプルセットの各データと所属分類の対応関係を知っています.ラベルがない新しいデータを入力した後、新しいデータの各特徴をサンプルセットデータに対応する特徴と比較し、サンプルセットの特徴が最も似ているデータ(最近隣)の分類ラベルをアルゴリズムで抽出する.一般的には、私たちはサンプルデータの最初のk個の最も似たデータだけを選択します.これはk近隣アルゴリズムにおけるkの出典であり、通常kは20以下の整数です.最後に、k個の似たようなデータの中で最も多く出現するカテゴリを、新しいデータの分類として選択します.
k-近隣アルゴリズムの一般的な流れ

データ収集:任意の方法を使用することができます.

はデータを用意します.距離計算に必要な数値は構造化されたデータフォーマットが望ましいです.

解析データ:任意の方法を使用することができます.

トレーニングアルゴリズム:このステップはk−近隣アルゴリズムには適用されない.

アルゴリズムをテストします.エラー率を計算します.

は、アルゴリズムを使用して、まずサンプルデータと構造化された出力結果を入力し、その後、k近隣アルゴリズムを実行して入力データがそれぞれどのカテゴリーに属するかを判定し、最後に計算された分類に対して後続の処理を実行する.

コード

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    #       
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDisIndicies = distances.argsort()
    classCount = {}
    #        k  
    for i in range(k):
        voteIlabel = labels[sortedDisIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    #  
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

パラメータinX:分類された入力ベクトルdataSet:入力されたトレーニングサンプルセットlabels:ラベルベクトルはk:最近の隣人を選択するための数を示す.
結果

group, labels = createDataSet()
res = classify0([0,0], group, labels, 3)

出力結果は:B
実戦-Mnist手書きデータ集識別
KNN分類器の作成

class Knn:

    def __init__(self):
        pass

    def fit(self,X_train,y_train):  # X_train       ，y_train         
        self.Xtr = X_train
        self.ytr = y_train

    def predict(self,k, dis, X_test):  # dis         ，X_test       ，            
        assert dis == 'E' or dis == 'M', 'dis must E or M'
        num_test = X_test.shape[0]  #        
        labellist = []
        #             
        if (dis == 'E'):
            for i in range(num_test):
                distances = np.sqrt(np.sum(((self.Xtr - np.tile(X_test[i], (self.Xtr.shape[0], 1))) ** 2), axis=1))
                nearest_k = np.argsort(distances)
                topK = nearest_k[:k]
                classCount = {}
                for i in topK:
                    classCount[self.ytr[i]] = classCount.get(self.ytr[i], 0) + 1
                sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
                labellist.append(sortedClassCount[0][0])
            return np.array(labellist)

        #              
        if (dis == 'M'):
            for i in range(num_test):
                #         ，       
                distances = np.sum(np.abs(self.Xtr - np.tile(X_test[i], (self.Xtr.shape[0], 1))), axis=1)
                nearest_k = np.argsort(distances)
                topK = nearest_k[:k]
                classCount = {}
                for i in topK:
                    classCount[self.ytr[i]] = classCount.get(self.ytr[i], 0) + 1
                sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
                labellist.append(sortedClassCount[0][0])
            return np.array(labellist)

mnistデータセットの予測:

import numpy as np
import torch
from torch.utils.data import DataLoader
import torchvision.datasets as dsets
import torchvision.transforms as transforms
import Knn
batch_size = 100


def getXmean(X_train):
    X_train = np.reshape(X_train, (X_train.shape[0], -1))  #            
    mean_image = np.mean(X_train, axis=0)  #                     
    return mean_image


def centralized(X_test,mean_image):
    X_test = np.reshape(X_test, (X_test.shape[0], -1))  #            
    X_test = X_test.astype(np.float)
    X_test -= mean_image  #       ，      
    return X_test


#   pytorch     
train_dataset = dsets.MNIST(root = '/ml/pymnist', #        
                           train = True, #      
                           transform = None, #            
                           download = True) #     download  
test_dataset = dsets.MNIST(root = '/ml/pymnist', #        
                           train = False, #      
                           transform = None, #            
                           download = True) #     download  
#    
train_loader = torch.utils.data.DataLoader(dataset = train_dataset,
                                           batch_size = batch_size,
                                           shuffle = True)  #      
test_loader = torch.utils.data.DataLoader(dataset = test_dataset,
                                          batch_size = batch_size,
                                          shuffle = True)
#      
X_train = train_loader.dataset.train_data.numpy()
mean_image = getXmean(X_train)
X_train = centralized(X_train,mean_image)
y_train = train_loader.dataset.train_labels.numpy()
X_test = test_loader.dataset.test_data[:1000].numpy()
X_test = centralized(X_test,mean_image)
y_test = test_loader.dataset.test_labels[:1000].numpy()
num_test = y_test.shape[0]
#       
classifier = Knn.Knn()
classifier.fit(X_train, y_train)
y_test_pred = classifier.predict(5, 'M', X_test)
#    
num_correct = np.sum(y_test_pred == y_test)
accuracy = float(num_correct) / num_test
print('Got %d / %d correct => accuracy: %f' % (num_correct, num_test, accuracy))

実行結果は:

Got 951 / 1000 correct => accuracy: 0.951000