《機器學習實戰》kMeans演算法（K均值聚類演算法）

#encoding:utf-8
from numpy import *

def loadDataSet(filename):
	dataMat = []          #建立元祖
	fr = open(filename)
	for line in fr.readlines():
		curLine = line.strip().split("\t")
		fltLine = map(float,curLine) #使用map函式將curLine裡的數全部轉換為float型
		dataMat.append(fltLine)
	return dataMat

def distEclud(vecA,vecB):          #計算兩個向量的歐式距離
	return sqrt(sum(power(vecA-vecB,2)))

def randCent(dataSet,k):            #位給定資料集構建一個包含k個隨機質心的集合
	n = shape(dataSet)[1]   #shape函式此時返回的是dataSet元祖的列數
	centroids = mat(zeros((k,n)))       #mat函式建立k行n列的矩陣，centroids存放簇中心
	for j in range(n):
		minJ = min(dataSet[:,j])           #第j列的最小值
		rangeJ = float(max(dataSet[:,j]) - minJ)
		centroids[:,j] = minJ + rangeJ * random.rand(k,1)  #random.rand(k,1)產生shape(k,1)的矩陣
	return centroids

def kMeans(dataSet,k,disMeas = distEclud,createCent = randCent):
	m = shape(dataSet)[0] #shape函式此時返回的是dataSet元祖的行數
	clusterAssment = mat(zeros((m,2)))      #建立一個m行2列的矩陣，第一列存放索引值，第二列存放誤差，誤差用來評價聚類效果
	centroids = createCent(dataSet,k)  #建立k個質心，呼叫createCent()函式
	clusterChanged =True #標誌變數，若為true則繼續迭代
	print "質心位置更新過程變化："
	while clusterChanged:
		clusterChanged = False
		for i in range(m):
			minDist = inf #inf為正無窮大
			minIndex = -1  #建立索引
			for j in range(k):
				#尋找最近的質心
				disJI = disMeas(centroids[j,:],dataSet[i,:]) #計算每個點到質心的歐氏距離
				if disJI(array([0, 0, 1]), array([0, 2, 0]))
				#print array(nonzero(b2))
				#=>[[0, 0, 1],[0, 2, 0]]
				centroids[cent,:] = mean(ptsInClust,axis=0)  #計算所有點的均值，選項axis=0表示沿矩陣的列方向進行均值計算
	return centroids,clusterAssment  #返回所有的類質心與點分配結果
	

datMat = mat(loadDataSet('data.txt'))
myCentroids,clustAssing = kMeans(datMat,2)
print "最終質心：\n",myCentroids
print "索引值和均值：\n",clustAssing

1）k值的選擇是使用者指定的，不同的k得到的結果會有挺大的不同，如下圖所示，左邊是k=3的結果，這個就太稀疏了，藍色的那個簇其實是可以再劃分成兩個簇的。而右圖是k=5的結果，可以看到紅色菱形和藍色菱形這兩個簇應該是可以合併成一個簇的：

2）對k個初始質心的選擇比較敏感，容易陷入區域性最小值。例如，我們上面的演算法執行的時候，有可能會得到不同的結果，如下面這兩種情況。K-means也是收斂了，只是收斂到了區域性最小值：

3）存在侷限性，如下面這種非球狀的資料分佈就搞不定了

4）資料庫比較大的時候，收斂會比較慢.