フル接続ニューラルネットワークpython実装

ニューラルネットワークは手書きデジタル識別問題を解決する
ニューラルネットワークは深い学習の基礎であり、その強大なフィッティングと学習能力は、画像認識、人工知能の面で非常に優れている.ここではニューラルネットワークの原理構造を紹介しない.(この部分はネット上で非常に多い)ここでは、筆者が純粋なpythonで書いたニューラルネットワークコードを利用して、sklearnライブラリのdigitsデータセットの識別を実現した.精度は93%以上
コードは次のとおりです.詳細はコードコメントを参照してください.

import numpy as np
#    tanh
def tanh(x):
    return np.tanh(x)
#tanh    ，        
def tanh_deriv(x):
    return 1-np.tanh(x)*np.tanh(x)
#            
def logistic(x):
    return 1/(1+np.exp(-x))
#    logistic   
def logistic_deriv(x):
    return logistic(x)*(1-logistic(x))
#     
class NeuralNetwork:
    def __init__(self,layers,activation='tanh'):
    #        ，              
        if activation == 'logistic':
            self.activation = logistic
            self.activation_deriv = logistic_deriv
        elif activation == 'tanh':
            self.activation = tanh
            self.activation_deriv = tanh_deriv
       #       ，                     
        self.weights = []
        for i in range(1 , len(layers)-1):
         #   shape，              １     
            self.weights.append((2*np.random.random((layers[i-1]+1,layers[i]+1))-1)*0.25)
            #   shape，     １         
            self.weights.append((2*np.random.random((layers[i]+1,layers[i+1]))-1)*0.25)
    #fit                ，X      ，y      ，learning_rate     
    #epochs        
    def fit(self , X , y , learning_rate=0.2 , epochs=10000):
        X  = np.atleast_2d(X)#  X     
        temp = np.ones([X.shape[0],X.shape[1]+1])
        temp[:,0:-1] = X
        X = temp #       Ｘ      １
        y = np.array(y)# y   np array   
        #    
        for k in range(epochs):
            i = np.random.randint(X.shape[0])# 0-epochs      
            a = [X[i]]#     list
            #    
            for l in range(len(self.weights)):
                a.append(self.activation(np.dot(a[l],self.weights[l])))
            #    
            error = y[i] - a[-1]
            deltas = [error * self.activation_deriv(a[-1])]
            #    ，      
            for l in range(len(a)-2,0,-1):
                deltas.append(deltas[-1].dot(self.weights[l].T)*self.activation_deriv(a[l]))
            deltas.reverse()
            #    
            for i in range(len(self.weights)):
                layer  = np.atleast_2d(a[i])
                delta = np.atleast_2d(deltas[i])
                self.weights[i] += learning_rate*layer.T.dot(delta)

    #    
    def predict(self,x):
        x = np.array(x)
        temp = np.ones(x.shape[0]+1)
        temp[0:-1] = x
        a = temp
        for l in range(0,len(self.weights)):
            a = self.activation(np.dot(a,self.weights[l])) 
        return a

異種または問題の解決

if __name__ == '__main__':
    nn = NeuralNetwork([2,2,1],'tanh')
    X = np.array([[0,0],[0,1],[1,0],[1,1]])
    y = np.array([0,1,1,0])
    nn.fit(X,y)
    for i in [[0,0],[0,1],[1,0],[1,1]]:
        print  i,nn.predict(i)

手書き数字の認識の解決

import numpy as np
from sklearn.datasets import load_digits
from sklearn.metrics import confusion_matrix,classification_report
from sklearn.preprocessing import LabelBinarizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.cross_validation import train_test_split

if __name__ == '__main__':
　　#       
    digits = load_digits()
    X = digits.data
    y = digits.target
    # Ｘ         
    X = MinMaxScaler().fit_transform(X)
    #    64*100*10     ，     logistic
    nn = NeuralNetwork([64,100,10],'logistic')
    X_train,X_test,y_train,y_test = train_test_split(X,y)
    #        
    labels_train = LabelBinarizer().fit_transform(y_train)
    labels_test = LabelBinarizer().fit_transform(y_test)
    print 'start fitting'
    nn.fit(X_train,labels_train,epochs=3000)
    predictions = []
    for i in range(X_test.shape[0]):
        o = nn.predict(X_test[i])
        predictions.append(np.argmax(o))//               
    #    
    print predictions
    #    
    print confusion_matrix(y_test,predictions)
    #    
    print classification_report(y_test,predictions)