支援向量機

全稱Support Vector Machine (SVM)。可以分為硬間隔（hard margin SVM），軟間隔（soft margin SVM），和核支援向量機（kernel margin SVM）。

原理

輸入

訓練集資料$D=(x_1,y_1)...(x_M,y_M)$，$x_i\in \mathcal{X}\subseteq R^p$，$y_i\in R$

$X=(x_1{x}_2...x_M{)}^T\in R^{M\ast p}$

$f(x)=sign(w^{T}x+b)$

正則化引數${\lambda }_1$ ，${\lambda }_2$

輸出

線性迴歸模型$\hat{f}(x)$

損失函式

硬間隔SVM也稱為最大間隔分類器。

$margin(w,b)=mindistance(w,b,x_i)$

為了簡化運算，我們指定最小的margin為1（可以通過縮放實現）。我們希望達成以下目標。

$maxmargin(w,b)s.t.y_i(w^T{x}_i+b)>0\forall i=1\sim M$

進行數學推導，
$$\begin{gathered} maxmargin(w,b)=ma{x}_{w,b}mi{n}_{x_i}\frac{1}{||w||}{y}_i(w^T{x}_i+b) \\ =ma{x}_{w,b}\frac{1}{||w||}mi{n}_{x_i}{y}_i(w^T{x}_i+b) \end{gathered}$$
可以簡化成
$$\begin{gathered} maxmargin(w,b)=ma{x}_{w,b}\frac{1}{||w||} \\ s.t.y_i(w^T{x}_i+b)>=1\forall i=1\sim M \end{gathered}$$
或者
$$\begin{gathered} maxmargin(w,b)=mi{n}_{w,b}||w|| \\ s.t.y_i(w^T{x}_i+b)>=1\forall i=1\sim M \end{gathered}$$
從而我們很容易得到損失函式（$\lambda \ge 0$），
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^M{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )s.t.{\lambda }_i\ge 0 \end{gathered}$$
當$y_i(w^T{x}_i+b)>0$時，很容易證明$L$的最大值是正無窮。當$y_i(w^T{x}_i+b)\le 0$時，$L$的最大值是在$\lambda$取0時，整體等於$\frac 1 2 w^Tw $。

我們可以證明$minmaxL=maxminL$，此處省略。這個被稱為強對偶關係。

我們將上面的原問題轉化成對偶問題如下，
$$ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )s.t.{\lambda }_i\ge 0$$
進行求導，
$$\begin{gathered} mi{n}_{w,b}L(w,b,\lambda ) \\ \frac{\partial L}{\partial b}=\frac{\partial [{\sum }_{i=1}^M{\lambda }_i-{\sum }_{i=1}^M{\lambda }_i{y}_i(w^T{x}_i+b)]}{\partial b}=0 \\ 解得\sum _{i=1}^M{\lambda }_i{y}_i=0 \\ 將其代入L \\ L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^M{\lambda }_i-\sum _{i=1}^M{\lambda }_i{y}_i{w}^T{x}_i \\ \frac{\partial L}{\partial w}=0 \\ {w}^{\ast }=\sum _{i=1}^M{\lambda }_i{y}_i{w}^T{x}_i \\ 將其代入L \\ L(w,b,\lambda ) \\ =\frac{1}{2}(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j{)}^T(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j)+\sum _{i=1}^M{\lambda }_i-\sum _{i=1}^M{\lambda }_i{y}_i(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j{)}^T{x}_i \\ =-\frac{1}{2}(\sum _{i=1}^M\sum _{j=1}^M{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j)+\sum _{i=1}^M{\lambda }_i \end{gathered}$$

從而，我們將問題再次進行了轉換，我的目標是
$$\begin{gathered} mi{n}_{\lambda }\frac{1}{2}(\sum _{i=1}^M\sum _{j=1}^M{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j)-\sum _{i=1}^M{\lambda }_i \\ {\lambda }_i\ge 0 \\ \sum _{i=1}^M{\lambda }_i{y}_i=0 \end{gathered}$$
因為我們的原問題和對偶問題具有強對偶關係，我們通過KKT條件
$$\begin{gathered} \frac{\partial L}{\partial w}=0 \\ \frac{\partial L}{\partial b}=0 \\ \frac{\partial L}{\partial \lambda }=0 \\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0 \\ {\lambda }_i\ge 0 \\ 1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
可以得到最優解，

$w^{\ast }={\sum }_{i=1}^M{\lambda }_i{y}_i{x}_i$

我們還需要代入一個處於邊界上的點$(x_k,y_k)$滿足$ 1-y_k(w^Tx_k+b) = 0$，再求解偏置
$$\begin{gathered} 1-y_k(w^T{x}_k+b)=0 \\ {y}_k(w^T{x}_k+b)=1 \\ {y}_k^2(w^T{x}_k+b)=y_k \\ (w^T{x}_k+b)=y_k \\ {b}^{\ast }=y_k-w^T{x}_k \\ {b}^{\ast }=y_k-\sum _{i=1}^M{\lambda }_i{y}_i{x}_i^T{x}_k \end{gathered}$$
軟間隔SVM允許少量錯誤。

$L(w,b)=min\frac{1}{2}{w}^{T}w+loss$

我們可以將後面額外的損失定義為0-1 loss，更常用的是hinge loss。

那麼，我們可以重新定義損失函式為
$$\begin{gathered} L(w,b)=mi{n}_{w,b}\frac{1}{2}{w}^{T}w+C\ast \sum _{i=1}^{M}max(0,1-y_i(w^T{x}_i+b)) \\ 1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
$C$起到了一個正則化的作用。

適用場景

普遍適用。

優點

1. 邊界只由少數的支援向量所決定，避免維度災難
2. 可解釋性好
3. 對離群資料敏感度較小，魯棒性高

缺點

1. 對大規模訓練樣本而言，消耗大量記憶體和運算時間
2. 解決多分類問題時，需要多組SVM模型

核方法

對應英文是Kernel Method。核方法用於解決有資料集類別之間的邊界壓根不是線性的。對於原始的輸入空間$\mathcal{X}$，使用$\varphi (x)$進行非線性轉換成為特徵空間$\mathcal{Z}$，從而達到線性可分的狀態。理論基礎是Cover Theorem，即高維空間比低維空間更易線性可分。

在$\varphi (x)$維度非常高的情況下，求$\varphi (x_i)$非常困難。我們發現有一種核技巧(kernel trick)，可以在不需要單獨計算$\varphi (x_i)$和$\varphi (x_j)$的前提下得到$\varphi (x_i{)}^T\varphi (x_j)$。畢竟後者才是我們$L$中需要得到的值。

$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$

一般情況下，我們的核函式$K$指的是正定核函式。有函式$K$可以做到從$\mathcal{X}\ast \mathcal{X}$到$R$的對映，$\exists \Phi \in \mathcal{H}$,使得$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$，那麼稱$K$為正定核函式。我們再介紹一下希爾伯特空間$\mathcal{H}$。它是完備的（對極限是封閉的），可能是無限維的，被賦予內積運算的一個線性空間。

正定核函式性質

1. 對稱性，即$K(x_i,x_j)=K(x_j,x_i)$
2. 正定性，即任取$\mathcal{X}$中的M個元素，從$x_1$到$x_M$，對應的Gram matrix是半正定的

我們來證明正定核函式的性質。先證明必要性。

已知$K(x_i,x_j)=<\varphi (x_i),\varphi (x_j)>$，要證明其對稱性和正定性。

對稱性可以由內積的對稱性證明。我們現在想要證明對應的Gram matrix是半正定的。令Gram matrix是$G=[K(x_i,x_j)]$。所以需要證明對於任意$\alpha \in R^M$，有${\alpha }^{T}G\alpha \ge 0$。
$$\begin{gathered} {\alpha }^{T}G\alpha \\ =\sum _{i=1}^M\sum _{j=1}^M{\alpha }_i{\alpha }_{j}K(x_i,x_j) \\ =\sum _{i=1}^M\sum _{j=1}^M{\alpha }_i{\alpha }_j\varphi (x_i{)}^T\varphi (x_j) \\ =\sum _{i=1}^M{\alpha }_i\varphi (x_i{)}^T\sum _{j=1}^M{\alpha }_j\varphi (x_j) \\ =[\sum _{i=1}^M{\alpha }_i\varphi (x_i){]}^T[\sum _{j=1}^M{\alpha }_j\varphi (x_j)] \\ =||\sum _{i=1}^M{\alpha }_i\varphi (x_i)|{|}^2\ge 0 \end{gathered}$$
我們就證明了Gram Matrix是半正定的。

約束優化

我們定義原問題的最優解為$d^{\ast }$，對偶問題的最優解是$p^{\ast }$。

定義原問題$mi{n}_{x}f(x)$，有N個不等式約束，$n_i(x)\le 0$，有M個等式約束，$m_i(x)=0$

轉換後的原問題的無約束形式為$mi{n}_{x}ma{x}_{\lambda ,\eta }=L(x,\lambda ,\eta )$，${\lambda }_i\ge 0$

下面是轉換的說明。

拉格朗日函式：

$L(x,\lambda ,\eta )=f(x)+{\sum }_{j=1}^N{\lambda }_j{n}_j+{\sum }_{i=1}^M{m}_i{\eta }_i$

如果$x$違反了不等式約束，那麼$ma{x}_{\lambda }L$一定會趨近於正無窮。所以在其前面加上一個$min$相當於進行了一次過濾，將所有不滿足不等式約束的$x$都過濾掉了。

弱對偶

我們接著證明原問題和對偶問題是相等的。對偶問題是$ma{x}_{x}mi{n}_{\lambda ,\eta }=L(x,\lambda ,\eta )$，${\lambda }_i\ge 0$。

我們先證明弱對偶性，原問題的值會大於等於對偶問題，即$minmaxL\ge maxminL$。
$$\begin{gathered} mi{n}_{x}L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )\le ma{x}_{\lambda ,\eta }L(x,\lambda ,\eta ) \\ A(\lambda ,\eta )\le B(x) \\ A(\lambda ,\eta )\le minB(x) \\ maxA(\lambda ,\eta )\le minB(x) \end{gathered}$$

Slater Condition

存在一點$x\in relintD$，使得對於所有的$n_i(x)<0$。relint代表相對內部。

對於大多數凸優化問題，slater條件成立。

放鬆的slater條件是指，如果N中有K個仿射函式，那麼只需要校驗其餘的函式滿足slater條件即可。

通過弱對偶和Slater Condition可以推出強對偶關係。強對偶關係是下面的KKT條件的充要條件。

庫恩塔克條件

通常被稱為KKT條件。

可行條件

有N個不等式約束，$n_i(x^{\ast })\le 0$，有M個等式約束，$m_i(x^{\ast })=0$，${\lambda }^{\ast }=0$

互補鬆弛條件

${\lambda }_j^{\ast }{n}_j=0$
$$\begin{gathered} d^{\ast }=ma{x}_{\lambda ,\eta }g(\lambda ,\eta ) \\ =g({\lambda }^{\ast },{\eta }^{\ast }) \\ =mi{n}_{x}L(x,{\lambda }^{\ast },{\eta }^{\ast }) \\ =L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \\ =f(x^{\ast })+\sum _{j=1}^N{\lambda }_j^{\ast }{n}_j+\sum _{i=1}^M{m}_i^{\ast }{\eta }_i \\ =f(x^{\ast })+\sum _{j=1}^N{\lambda }_j^{\ast }{n}_j \\ =f(x^{\ast }) \\ =p^{\ast } \end{gathered}$$

梯度為0

$$\begin{gathered} mi{n}_{x}L(x,{\lambda }^{\ast },{\eta }^{\ast }) \\ =L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \end{gathered}$$

Reference

• 白板推導系列，shuhuai007
• 支援向量機（SVM）的優缺點