支援向量機

支援向量機(Support Vecor Machine，以下簡稱SVM)誕生於上個世紀90年代，由於它良好的分類效能，在分類領域稱霸多年，在深度時代之前是分類演算法中當之無愧的王者。

SVM是一個二分類演算法，支援線性分類和非線性分類。經過改進，支援多元分類。經過擴充套件，也能應用於迴歸問題。

線性SVM

線性SVM分類演算法針對的是線性可分資料集。

線性可分資料集：可以被線性超平面完全正確分類的資料集。

線性不可分資料集：不可以被線性超平面完全正確分類的資料集。

問題1：二分類線性可分的訓練資料集如何分類？

回答：尋找一個線性分離超平面將樣本點分開。

問題2：當訓練資料集線性可分時，有無窮個分離超平面可將兩類樣本正確分開，應該以什麼原則確定最 優超平面呢？

回答：希望分離超平面離兩類樣本儘可能遠，等價於離兩類的最近點儘可能遠，這稱為最大間隔(margin)原則。

問題3：為什麼要離兩個類的最近點儘量遠?

回答：對未知新樣本的分類預測有很好的泛化能力。

以上的文字表述過於籠統，下面用數學來嚴謹表達。

線性SVM的優化問題

資料集

假定訓練資料集為
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(\mathbf{x}_1,y_1), (\mathbf{x}_2,y_2), \cdots, (\mathbf{x}_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
其中，${\mathbf{x}}_i=[x_{i0},x_{i1},\cdots ,x_{im}{]}^T,i=1,2,\cdots ,N$，是m維特徵向量； y i ∈ { 1 , − 1 } , i = 1 , 2 , ⋯   , N y_i \in \{1,-1\}, \quad i=1,2,\cdots,N yi​∈{1,−1},i=1,2,⋯,N，是對應特徵向量的標籤，$y_i=1$時${\mathbf{x}}_i$為正例，$y_i=-1$時${\mathbf{x}}_i$為負例。

線性超平面

線性超平面的數學表示式為
$${\mathbf{w}}^T\mathbf{x}+b=0$$
其中，$\mathbf{w}=[w_1,w_2,\cdots ,w_m{]}^T$是超引數，$\mathbf{x}$是樣本特徵向量，$b$為截距。

分類決策函式

令$F(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$，$F(\mathbf{x})$可以作為二分類的判別器。

假定落入$F(\mathbf{x})>0$區域為正例，落入$F(\mathbf{x})<0$區域為負例，可以通過$F(\mathbf{x})$的符號來分類。

上面的想法表示為一個分類決策函式
$$f(\mathbf{x})=\text{sgn}(F(\mathbf{x}))=\text{sgn}({\mathbf{w}}^T\mathbf{x}+b)$$

間隔

$x_{-}$是${\mathbf{w}}^T\mathbf{x}+b=-1$上的一個樣本點，${\mathbf{w}}^T\mathbf{x}+b=-1$以點$x_{-}$為垂足作一條垂直線，與${\mathbf{w}}^T\mathbf{x}+b=1$相交於$x_{+}$，設定$x_{+}$與$x_{-}$之間的距離為$\lambda$，$x_{+}$與$x_{-}$的關係可以表示為
$$x_{+}=x_{-}+\lambda \frac{\mathbf{w}}{||\mathbf{w}|{|}_2}$$
其中，$||\mathbf{w}|{|}_2=\sqrt{w_0^2+w_1^2+\cdots +w_n^2}$，為$\mathbf{w}$的L2範數。

$\lambda$就是要求的間隔，具體的求解方式如下：

$$\begin{array}{rl}& \{\begin{array}{rl}{\mathbf{w}}^T{\mathbf{x}}_{+}+b& =1\\ {\mathbf{w}}^T{\mathbf{x}}_{-}+b& =-1\end{array}\\ \Rightarrow & {\mathbf{w}}^T({\mathbf{x}}_{+}-{\mathbf{x}}_{-})=2\\ \Rightarrow & \frac{{\mathbf{w}}^T\lambda \mathbf{w}}{||\mathbf{w}|{|}_2}=2\\ \Rightarrow & \lambda =\frac{2}{||\mathbf{w}|{|}_2}\end{array}$$

這裡${\mathbf{w}}^T{\mathbf{x}}_{+}+b=1$和${\mathbf{w}}^T{\mathbf{x}}_{-}+b=-1$一個取+1一個取-1只是為了方便，其實可以取其他非零常數，不會對後續優化問題造成任何影響。

優化問題的目標函式和約束條件

根據最大間隔原則，我們希望在保證樣本分類正確的前提下間隔儘可能大。

• 使間隔儘可能大

  用數學公式表示就是
  $$\max \frac{2}{||\mathbf{w}|{|}_2}$$
  等效於
  $$\min \frac{1}{2}||\mathbf{w}|{|}_2^2$$
  $||\mathbf{w}|{|}_2$加平方不影響最優值的結果，而且$||\mathbf{w}|{|}_2^2$是凸函式，後續可以藉助凸優化理論的數學工具求解最優引數。$\frac{1}{2}$只是為了後續求導時能消去2才保留的。

• 如何確定樣本分類正確？

  • $(\mathbf{x},y)$是正例(即$y=1$)

    根據之前間隔數學表示式的推導過程，正例必須滿足${\mathbf{w}}^T\mathbf{x}+b\ge 1$，即在${\mathbf{w}}^T\mathbf{x}+b=1$正法線方向的一側。

  • $(\mathbf{x},y)$是負例(即$y=-1$)

    同理有${\mathbf{w}}^T\mathbf{x}+b\le -1$。

  上面兩種情況可以合起來表示為
  $$y({\mathbf{w}}^T\mathbf{x}+b)\ge 1$$

綜上，分類問題就轉化為一個約束最優化問題：
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}_2^2 \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,N \end{gathered}$$
這是一個二次規劃問題(目標函式為二次函式，約束為線性約束)。

線性SVM優化問題的求解

採用拉格朗日乘子法，目標函式等效為
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{w}|{|}_2^2-\sum _{i=1}^N{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]$$

其中${\alpha }_i\ge 0,i=1,2,\cdots ,N$。

為何可以通過拉格朗日乘子法將約束優化問題等效到無約束優化問題？

優化問題變為
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\underset{\mathbf{\alpha }}{\max }L(\mathbf{w},b,\mathbf{\alpha })\\ s.t.& {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
優化函式滿足KKT條件，優化問題可以轉化為等價的對偶問題

$$\begin{array}{rl}& \underset{\mathbf{\alpha }}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })\\ s.t.& {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

先求$L(\mathbf{w},b,\alpha )$取極小值時的引數$(\mathbf{w},b)$。
$$\{\begin{array}{rl}& \frac{\partial L}{\partial \mathbf{w}}=0\Rightarrow \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\\ & \frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
上面求出了$\mathbf{w}$用$\mathbf{\alpha }$表示的結果，代入後續目標函式，求極大值得到$\mathbf{\alpha }$就能知道最優的${\mathbf{w}}^{\ast }$。對於$b$，沒有相應的求解式，求解的方法會在後面講解。

定義
$$\psi (\mathbf{\alpha })=\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$$
對$L(\mathbf{w},b,\mathbf{\alpha })$代入
$$\{\begin{array}{rl}& \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
有
$$\begin{array}{rl}\psi (\mathbf{\alpha })& =\frac{1}{2}||\mathbf{w}|{|}_2^2-\sum _{i=1}^N{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]\\ & =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i\\ & =\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i-{\mathbf{w}}^T\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}(\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j{)}^T\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^N{\alpha }_i\\ & =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_j^T{\mathbf{x}}_i\\ & =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$
那麼優化問題變成$\psi (\mathbf{\alpha })$的極大化問題
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^N{\alpha }_i-& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge & 0,i=1,2,\cdots ,N\end{array}$$
去掉負號可以得到等價的極小化問題
$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N& {\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge & 0,i=1,2,\cdots ,N\end{array}$$
優化問題的最優引數${\mathbf{\alpha }}^{\ast }$一般用SMO演算法求解，這個演算法內容較複雜，這裡不做講解。

線性超平面的求解式

現在已經通過SMO演算法得到最優引數${\mathbf{\alpha }}^{\ast }$，那麼對應的最優${\mathbf{w}}^{\ast }$是
$${\mathbf{w}}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i$$
對於引數$b$，優化過程中沒有相應的求解式，但對間隔邊界上的樣本點，都符合
$$y({\mathbf{w}}^T\mathbf{x}+b)=1$$

所以只要找到任一支援向量$({\mathbf{x}}_k,y_k)$，並代入${\mathbf{w}}^{\ast }$，有
$$b^{\ast }=y_k^{-1}-{{\mathbf{w}}^{\ast }}^T{\mathbf{x}}_k=y_k-{{\mathbf{w}}^{\ast }}^T{\mathbf{x}}_k$$

由於 y k ∈ { 1 , − 1 } y_k \in \{1,-1\} yk​∈{1,−1}，所以$y_k^{-1}=y_k$。

確定支援向量的方法

如何確定支援向量？

我們現在手上已知的資訊包括：

• 最優引數${\mathbf{\alpha }}^{\ast }$

• KKT條件(部分)：
  $$\begin{array}{rl}{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]=0,& i=1,2,\cdots ,N\\ y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\ge 0,& i=1,2,\cdots ,N\\ {\alpha }_i\ge 0,& i=1,2,\cdots ,N\end{array}$$

如果${\alpha }_i>0$，說明$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)=1$，$({\mathbf{x}}_i,y_i)$在最大間隔介面上，是支援向量；

如果${\alpha }_i=0$，說明$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$，$({\mathbf{x}}_i,y_i)$在最大間隔介面上，或者在最大間隔外且被正確分類，它不是支援向量。

所以，可以通過${\alpha }_i$是否大於0來判斷樣本點是否為支援向量機。

疑問：當${\alpha }_i=0$時，$({\mathbf{x}}_i,y_i)$也有可能在最大間隔介面上，為什麼就認為它不是支援向量？

支援向量是決定分離超平面${\mathbf{w}}^T\mathbf{x}+b=0$的樣本點，根據$\mathbf{w}={\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i$，如果${\alpha }_i=0$，那麼樣本點$({\mathbf{x}}_i,y_i)$對決定$\mathbf{w}$沒有任何影響，所以認為它不是支援向量。

線性SVM的演算法過程

輸入：線性可分的訓練資料集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(\mathbf{x}_1,y_1), (\mathbf{x}_2,y_2), \cdots, (\mathbf{x}_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}。

輸出：分離超平面和分類決策函式。

演算法步驟：

1. 構造約束優化問題
   $$\begin{array}{rl}\underset{\mathbf{\alpha }}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N& {\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i\ge & 0,i=1,2,\cdots ,N\end{array}$$

2. 用SMO演算法求出最優引數${\mathbf{\alpha }}^{\ast }$。

3. 計算${\mathbf{w}}^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i$。

4. 尋找一個滿足${\alpha }_k^{\ast }>0$的樣本點$({\mathbf{x}}_k,y_k)$，計算$b^{\ast }=y_k-{{\mathbf{w}}^{\ast }}^T{\mathbf{x}}_k$。

5. 得到分離超平面${{\mathbf{w}}^{\ast }}^T\mathbf{x}+b^{\ast }=0$和分類決策函式$f(x)=\text{sgn}({{\mathbf{w}}^{\ast }}^T\mathbf{x}+b^{\ast })$