公號：碼農充電站pro
主頁：https://codeshellme.github.io
KNN 演算法的全稱是K-Nearest Neighbor，中文為K 近鄰演算法，它是基於距離的一種演算法，簡單有效。
KNN 演算法即可用於分類問題，也可用於迴歸問題。
1，準備電影資料
假如我們統計了一些電影資料，包括電影名稱，打鬥次數，接吻次數，電影型別，如下：
| 電影名稱 | 打鬥次數 | 接吻次數 | 電影型別 |
|---|---|---|---|
| 黑客帝國 | 115 | 6 | 動作片 |
| 功夫 | 109 | 8 | 動作片 |
| 戰狼 | 120 | 9 | 動作片 |
| 戀戀筆記本 | 5 | 78 | 愛情片 |
| 泰坦尼克號 | 6 | 60 | 愛情片 |
| 花樣年華 | 8 | 69 | 愛情片 |
可以看到，電影分成了兩類，分別是動作片和愛情片。
2，用KNN 演算法處理分類問題
如果現在有一部新的電影A，它的打鬥和接吻次數分別是80 和7，那如何用KNN 演算法對齊進行分類呢？
我們可以將打鬥次數作為X 軸，接吻次數作為Y 軸，將上述電影資料畫在一個座標系中，如下：
關於如何用Python 畫圖，可以參考文章《如何使用Python 進行資料視覺化》
通過上圖可以直觀的看出，動作電影與愛情電影的分佈範圍是不同的。
KNN 演算法基於距離，它的原理是：選擇與待分類資料最近的K 個點，這K 個點屬於哪個分類最多，那麼待分類資料就屬於哪個分類。
所以，要判斷電影A 屬於哪一類電影，就要從已知的電影樣本中，選出距離電影A 最近的K 個點：
- 如果這K 個點中，屬於動作電影較多，那麼電影A 就屬於動作電影。
- 如果這K 個點中，屬於愛情電影較多，那麼電影A 就屬於愛情電影。
比如，我們從樣本中選出三個點（即 K 為 3），那麼距離電影A 最近的三個點是《功夫》，《黑客帝國》和《戰狼》，而這三部電影都是動作電影。因此，可以判斷電影A 也是動作電影。
另外，我們還要處理兩個問題：
- 如何判斷點之間的距離。
- 如何確定K 的值。
關於點之間的距離判斷，可以參考文章《計算機如何理解事物的相關性》。
至於K 值的選擇，K 值較大或者較小都會對模型的訓練造成負面影響，K 值較小會造成過擬合，K 值較大欠擬合。
因此，K 值的選擇，一般採用交叉驗證的方式。
交叉驗證的思路是，把樣本集中的大部分樣本作為訓練集，剩餘部分用於預測，來驗證分類模型的準確度。一般會把 K 值選取在較小範圍內，逐一嘗試K 的值，當模型準確度最高時，就是最合適的K 值。
可以總結出，KNN 演算法用於分類問題時，一般的步驟是：
- 計算待分類物體與其他物體之間的距離；
- 按照距離進行排序，統計出距離最近的 K 個鄰居；
- K 個最近的鄰居，屬於哪個分類最多，待分類物體就屬於哪一類。
3，用KNN 演算法處理迴歸問題
如果，我們現在有一部電影B，知道該電影屬於動作電影，並且知道該電影的接吻次數是7，現在想預測該電影的打鬥次數是多少？
這個問題就屬於迴歸問題。
分類問題的預測結果是離散值，
迴歸問題的預測結果是連續值。
首先看下，根據已知資料，如何判斷出距離電影B 最近的K 個點。
我們依然設定K 為3，已知資料為：
- 電影B 屬於動作電影。
- 電影B 的接吻次數是 7。
根據已知資料可以畫出下圖：
圖中我畫出了一條水平線，這條線代表所有接吻次數是7 的電影，接下來就是要找到距離這條線最近的三部（K 為 3）動作電影。
可以看到，距離這條水平線最近的三部動作電影是《功夫》，《黑客帝國》和《戰狼》，那麼這三部電影的打鬥次數的平均值，就是我們預測的電影B 的打鬥次數。
所以，電影B 的打鬥次數是：
(115 + 109 +120) / 3 ≈ 115
4，總結
本篇文章主要介紹了KNN 演算法的基本原理，它簡單易懂，即可處理分類問題，又可處理迴歸問題。
KNN 演算法是基於距離的一種機器學習演算法，需要計算測試點與樣本點之間的距離。因此，當資料量大的時候，計算量就會非常龐大，需要大量的儲存空間和計算時間。
另外，如果樣本資料分類不均衡，比如有些分類的樣本非常少，那麼該類別的分類準確率就會很低。因此，在實際應用中，要特別注意這一點。
（本節完。）
推薦閱讀：
歡迎關注作者公眾號，獲取更多技術乾貨。
