Logistic迴歸演算法

本文介紹機器學習中的Logistic迴歸演算法，我們使用這個演算法來給資料進行分類。Logistic迴歸演算法同樣是需要通過樣本空間學習的監督學習演算法，並且適用於數值型和標稱型資料，例如，我們需要根據輸入資料的特徵值（數值型）的大小來判斷資料是某種分類或者不是某種分類。

一、樣本資料

在我們的例子中，我們有這樣一些樣本資料：

• 樣本資料有3個特徵值：X0X0，X1X1，X2X2
• 我們通過這3個特徵值中的X1X1和X2X2來判斷資料是否符合要求，即符合要求的為1，不符合要求的為0。
• 樣本資料分類存放在一個陣列中

我們在logRegres.py檔案中編寫如下函式來準備資料，並將資料列印觀察一下：

我們來觀察一下這個資料樣本：

樣本資料dataMat的第一列，也就是我們的特徵值X0X0全部為1，這個問題我們之後在計算迴歸引數時需要注意理解。所有的樣本資料一共100條，對應的分類結果也是100個。

那麼，我們現在的問題是：
我們要找到樣本空間中的特徵值與分類結果的關係。設計一個函式或者功能，實現在輸入一組特徵值後，能夠根據樣本空間特徵值與分類結果的關係，自動為輸入的資料進行分類，即得到結果要麼是1，要麼是0。

二、Sigmoid函式

為了解決上一節我們提到的問題，我們這裡先介紹一下Sigmoid函式：

這個函式有如下幾個特徵：

• 當z=0z=0時，值為0.50.5
• 當zz不斷增大時，值將趨近於1
• 當zz不斷減小時，值將趨近於0

我們來看一下函式的曲線圖：

我們如果將樣本空間的3個特徵值X0X0、X1X1和X2X2的值代入到函式中，計算出一個結果。那麼這個結果將是接近與我們的分類結果的（0到1之間的一個數值）。如果這個結果接近0那麼我們就認為分類為0，如果結果接近1我們就認為分類為1。

以什麼方式代入到函式中呢？其實簡單的相加就可以，因為zz不斷增大或者減小時，函式的值就相應的趨近於1或者0。我們使z=x0+x1+x2z=x0+x1+x2

但是實際的情況是我們的計算結果和實際的分類值，會有誤差，甚至是完全不正確。為了矯正這個問題，我們為樣本空間的3個特徵值X0X0、X1X1和X2X2，一一定義一個迴歸係數w0w0、w1w1和w2w2，使這個誤差減小。即使z=w0x0+w1x1+w2x2

其實不難想象，這組ww迴歸係數的值決定了我們計算結果的準確性，甚至是正確性。也就是說，這組ww的值反應了樣本空間分類的規則。
那麼，我們在輸入一組樣本之外的資料時，配合正確的ww迴歸係數，我們就能得到比較接近樣本空間分類規則的分類結果。
問題又來了，我們怎麼來得到這樣一組ww迴歸係數呢？

三、梯度上升法

梯度上升法，是在函式的梯度方向上，不斷的迭代計算引數值，以找到一個最大的引數值。迭代公式如下：

其中，αα為步長，Δσ(w)Δσ(w)為σ(w)σ(w)函式梯度。關於梯度的推導請參考這裡。作者的數學能力有限，就不做說明了。
最後，我們可以得到梯度的計算公式：

那麼，迭代公式如下：

公式說明：

• wk+1wk+1為本次迭代XX特徵項的迴歸係數結果
• wkwk為上一次迭代XX特徵項的迴歸係數結果
• αα為每次迭代向梯度方向移動的步長
• xixi為XX特徵項中第i個元素
• yiyi是樣本中第i條記錄的分類樣本結果
• σ(xi,wk)σ(xi,wk)是樣本中第i條記錄，使用sigmoid函式和wkwk作為迴歸係數計算的分類結果
• [yi−σ(xi,wk)][yi−σ(xi,wk)]是樣本第i條記錄對應的分類結果值,與sigmoid函式使用wkwk作為迴歸係數計算的分類結果值的誤差值。

現在，我們有了計算迴歸係數的公式，下面我們在logRegres.py檔案中來實現一個函式，實現計算樣本空間的迴歸係數，並列印一下我們的結果：

列印結果:

為了驗證我們計算的回顧係數的準確性，我們觀察一下樣本空間的散點圖和迴歸係數的擬合曲線。我們以z(x1,x2)=w0+w1x1+w2x2作為我們的擬合函式，在座標系中畫出它的擬合曲線。以樣本空間中X1X1和X2X2的值作為橫座標和縱座標，畫出樣本空間的散點。程式碼如下：

執行後，我們得到如下圖片：

通過我們的觀察，我們的這個迴歸係數的演算法還是比較準確的，擬合曲線將樣本資料分成兩部分，並且符合樣本的分類規則。

接下來，我們來實現一個分類器，並測試這個分類器：

分類器的實現很簡單。我們使用之前的樣本資料中的70條資料作為我們測試的樣本資料，計算出迴歸係數。然後用分類器對剩下的30條記錄進行分類，然後將結果和樣本資料進行對比。最後列印出錯誤率。我們可以看到，錯誤率是0，近乎完美！我們可以修改測試樣本在原樣本空間的比例多測試幾遍。那麼，結論是我們的演算法的準確率還不錯！

那麼，到這裡問題就解決了嗎？好像還差一點什麼。我們來仔細研究一下我們計算迴歸係數的方法，不難發現，這個過程中我們用樣本資料組成的矩陣進行了矩陣乘法。也就是說，為了計算迴歸係數，我們遍歷了整個樣本資料。

我們的問題又來了，我們例子中的樣本資料只有100條，如果處理成千上萬的樣本資料，我們的計算迴歸係數的函式的計算複雜度會直線上升。下面我們來看看如何優化這個演算法。

四、優化梯度上升演算法——隨機梯度上升法

我們在理解了迴歸係數迭代計算的公式

和我們實現的程式之後。我們將計算迴歸係數的方法進行如下改進：

每一次迭代計算迴歸係數時，只使用樣本空間中的一個樣本點來計算。我們通過程式生成一個樣本散點和擬合曲線的圖來看一下這個演算法的準確程度：

不難看出跟之前的演算法相差還是比較大的。原因是之前的演算法是通過500次迭代算出的結果，後者只經過了100次迭代。那麼這裡要說明的問題是，迴歸係數在隨著迭代次數的增加是趨於收斂的，並且收斂的過程是存在波動的。說白了，就是迭代的次數越多，越接近我們想要的那個值，但是由於樣本的資料是非線性的，這個過程也會有一定的誤差。具體的迴歸係數和迭代次數的關係大家可以參考一些教材，例如《機器學習實戰》中的描述，這裡就不做詳細介紹了。
我們這裡只介紹一下如何改進我們的演算法，使我們的演算法能夠快速的收斂並減小波動。方法如下：

• 每次迭代隨機的抽取一個樣本點來計算迴歸向量
• 迭代的步長隨著迭代次數增大而不斷減少，但是永遠不等於0

改進程式碼，並列印出擬合曲線和樣本散點圖：

預設是150迭代的樣本散點圖和擬合曲線圖：

不難看出準確程度與第一個演算法很接近了！

五、總結

Logistic迴歸演算法主要是利用了Sgimoid函式來為資料分類，分類的準確的關鍵取決於從樣本空間中計算出的迴歸係數。我們使用梯度上升法來計算迴歸係數，並採用隨機梯度上升法來改進了演算法的效能。