pythonにおけるkmeansクラスタリング実装

k-meansアルゴリズムの思想は比較的に簡単で、言う分かりやすい点は物がクラスタ化することで、少し時間をかけてpythonの中でk-meansアルゴリズムを実現して、k-meansアルゴリズムは自身の欠点があって、例えばkの初期位置の選択に対して、これに対して多くの人がk-means++アルゴリズムを提出して改善します;もう一つは、kサイズの選択にも完璧ではない理論であり、この比較経典の理論に対して輪郭係数であり、二分クラスタリングのアルゴリズムはkのサイズを確定し、最後に二分クラスタリングのアルゴリズムの実現を書いた.コードは主に機械を参考にして実戦の本を学ぶ.

#encoding:utf-8
'''
Created on 2015 9 21 
@author: ZHOUMEIXU204
'''


path=u"D:\\Users\\zhoumeixu204\\Desktop\\python      \\           python\\        \\machinelearninginaction\\Ch10\\"
import  numpy  as np
def loadDataSet(fileName):  #    
    dataMat=[]
    fr=open(fileName)
    for line  in fr.readlines():
        curLine=line.strip().split('\t')
        fltLine=map(float,curLine)
        dataMat.append(fltLine)
    return  dataMat
def  distEclud(vecA,vecB):    #    
    return np.sqrt(np.sum(np.power(vecA-vecB,2)))
def randCent(dataSet,k):      #     
    n=np.shape(dataSet)[1]
    centroids=np.mat(np.zeros((k,n)))
    for j in  range(n):
        minJ=np.min(dataSet[:,j])
        rangeJ=float(np.max(dataSet[:,j])-minJ)
        centroids[:,j]=minJ+rangeJ*np.random.rand(k,1)
    return centroids
dataMat=np.mat(loadDataSet(path+'testSet.txt'))
print(dataMat[:,0])


#      -inf 
#      +inf 
def  kMeans(dataSet,k,distMeas=distEclud,createCent=randCent):
    m=np.shape(dataSet)[0]
    clusterAssment=np.mat(np.zeros((m,2)))
    centroids=createCent(dataSet,k)
    clusterChanged=True
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=np.inf;minIndex=-1  #np.inf     
            for j in range(k):
                distJI=distMeas(centroids[j,:],dataSet[i,:])
                if distJI
                    minDist=distJI;minIndex=j
            if clusterAssment[i,0]!=minIndex:clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print centroids
        for cent in range(k):
            ptsInClust=dataSet[np.nonzero(clusterAssment[:,0].A==cent)[0]]  #[0]   0         ，      
            #np.nonzero  ，   0       nz=np.nonzero([1,2,3,0,0,4,0])   0,1,2
            centroids[cent,:]=np.mean(ptsInClust,axis=0)
        
    return  centroids,clusterAssment
myCentroids,clustAssing=kMeans(dataMat,4)  
print(myCentroids,clustAssing)  
    
#      (bisecting  k-means)
def   biKmeans(dataSet,k,distMeas=distEclud):
    m=np.shape(dataSet)[0]
    clusterAssment=np.mat(np.zeros((m,2)))
    centroid0=np.mean(dataSet,axis=0).tolist()[0]
    centList=[centroid0]
    for j in range(m):
        clusterAssment[j,1]=distMeas(np.mat(centroid0),dataSet[j,:])**2
    while (len(centList)
        lowestSSE=np.Inf
        for  i  in range(len(centList)):
            ptsInCurrCluster=dataSet[np.nonzero(clusterAssment[:,0].A==i)[0],:]
            centroidMat,splitClusAss=kMeans(ptsInCurrCluster,2,distMeas)
            sseSplit=np.sum(splitClusAss[:,1])
            sseNotSplit=np.sum(clusterAssment[np.nonzero(clusterAssment[:,0].A!=i)[0],1])
            print "sseSplit, and notSplit:",sseSplit,sseNotSplit
            if (sseSplit+sseNotSplit)
                bestCenToSplit=i
                bestNewCents=centroidMat
                bestClustAss=splitClusAss.copy()
                lowestSSE=sseSplit+sseNotSplit
        bestClustAss[np.nonzero(bestClustAss[:,0].A==1)[0],0]=len(centList)
        bestClustAss[np.nonzero(bestClustAss[:,0].A==0)[0],0]=bestCenToSplit
        print "the bestCentToSplit is:",bestCenToSplit
        print 'the len of  bestClustAss is:',len(bestClustAss)
        centList[bestCenToSplit]=bestNewCents[0,:]
        centList.append(bestNewCents[1,:])
        clusterAssment[np.nonzero(clusterAssment[:,0].A==bestCenToSplit)[0],:]=bestClustAss
    return centList,clusterAssment
print(u"          ")
dataMat3=np.mat(loadDataSet(path+'testSet2.txt'))
centList,myNewAssments=biKmeans(dataMat3, 3)
print(centList)