資料探勘——KNN演算法（手寫數字分類）

KNN原理部分思維導圖整理：

手寫資料分類實戰，分別用KNN、SVM、樸素貝葉斯和決策樹做分類器，統計比較四個分類器的準確率。

#1、匯入需要的包和資料集（手寫分類資料集）
from sklearn.model_selection import train_test_split
from sklearn import preprocessing
from sklearn.metrics  import accuracy_score
from sklearn.datasets  import load_digits
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes  import MultinomialNB
from sklearn.tree import DecisionTreeClassifier
import matplotlib.pyplot as plt

#2、載入資料 
digits=load_digits()
data=digits.data 

#3、資料探索
print(data.shape)

#4、檢視第一幅影像
print(digits.images[0])
#將第一幅影像顯示出來：
plt.gray()
plt.imshow(digits.images[0])
plt.show()

#5、分隔資料，將25%的資料作為測試集，其餘作為訓練集；
train_x,test_x,train_y,test_y=train_test_split(data,digits.target,test_size=0.25,random_state=33)

#6、採用Z-Score進行規範化
ss=preprocessing.StandardScaler()
train_ss_x=ss.fit_transform(train_x)
test_ss_x=ss.transform(test_x)

#7、建立KNN分類器
knn=KNeighborsClassifier()
knn.fit(train_ss_x,train_y)
predict_y=knn.predict(test_ss_x)
print("KNN準確率：%.4lf"%accuracy_score(test_y,predict_y))

#8、建立SVM分類器：
svm=SVC()
svm.fit(train_ss_x,train_y)
predict_y=svm.predict(test_ss_x)
print("SVM準確率：%0.4lf"%accuracy_score(test_y,predict_y))

#9、建立Naive Bayes分類器：
#需要採用Min-Max規範化
mm=preprocessing.MinMaxScaler()
train_mm_x=mm.fit_transform(train_x)
test_mm_x=mm.transform(test_x)

mnb=MultinomialNB()
mnb.fit(train_mm_x,train_y)
predict_y=mnb.predict(test_mm_x)
print("多項式樸素貝葉斯準確率：%0.4lf"%accuracy_score(test_y,predict_y))


#10、建立CART決策樹分類器：
dtc=DecisionTreeClassifier()
dtc.fit(train_mm_x,train_y)
predict_y=dtc.predict(test_mm_x)
print("CART決策樹準確率：%0.4lf"%accuracy_score(test_y,predict_y))

輸出：
(1797, 64)
[[ 0. 0. 5. 13. 9. 1. 0. 0.]
[ 0. 0. 13. 15. 10. 15. 5. 0.]
[ 0. 3. 15. 2. 0. 11. 8. 0.]
[ 0. 4. 12. 0. 0. 8. 8. 0.]
[ 0. 5. 8. 0. 0. 9. 8. 0.]
[ 0. 4. 11. 0. 1. 12. 7. 0.]
[ 0. 2. 14. 5. 10. 12. 0. 0.]
[ 0. 0. 6. 13. 10. 0. 0. 0.]]

KNN準確率：0.9756
SVM準確率：0.9867
多項式樸素貝葉斯準確率：0.8844
CART決策樹準確率：0.8511
可以看到SVM的準確度最好，KNN不相上下。