最基本的SVM（Support Vector Machine）旨在使用一個超平面，分離線性可分的二類樣本，其中正反兩類分別在超平面的一側。SVM演算法則是要找出一個最優的超平面。
線性可分SVM
優化函式定義
給定一個特徵空間線性可分的資料集：
$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$
特徵分佈類似下圖：
如上圖，當特徵空間為二維時，超平面就是比二維空間第一維度的直線。任意維超平面定義如下（其中$x$是$n$維特徵向量，$w,b$是超平面係數）：
$wx+b = 0$
對於正例應有$wx_i+b > 0$，反例應有$wx_i+b < 0$，也就是說，如果分類正確，應有：
$y_i(wx_i+b)> 0$
從直觀上看，最優超平面，應該是在將所有樣本都正確分類的基礎上，使與之距離最近的樣本點的距離最大化。點到面的距離公式中學學過
$\displaystyle \frac{|wx+b|}{|| w ||}$
綜上，優化的問題用數學方式表達：
$\displaystyle\max\limits_{w,b}\min\limits_{i}(\frac{y_i(wx_i+b)}{||w||})$
或者
$\begin{align*} &\max\limits_{w,b}\;\gamma \\ &\;\text{s.t.}\;\;\;y_i(\frac{w}{||w||}x_i+\frac{b}{||w||})\ge \gamma,\;\;i=1,2,...,N \end{align*}$
其中$\gamma$為最小距離。令$ \hat{\gamma}=\gamma||w|| $，即所謂“函式距離”，上式可變為：
$\begin{align*} &\max\limits_{w,b}\;\frac{\hat{\gamma}}{||w||} \\ &\;\text{s.t.}\;\;\;y_i(wx_i+{b})\ge \hat{\gamma },\;\;i=1,2,...,N\end{align*}$
$\hat{\gamma}$沒有被$||w||$規範化，因此大小與$||w||$有關。而$w,b$等比例變化時，超平面並沒有變。因此，可以固定$||w||=1$，最大化$\hat{\gamma}$，即：
$\begin{align*} &\max\limits_{w,b}\;\hat{\gamma}\\ &\;\text{s.t.}\;\;\;y_i(wx_i+{b})\ge \hat{\gamma },\;\;i=1,2,...,N\end{align*}$
或者固定$\hat{\gamma}=1$，最小化$||w||$，也就是：
$\begin{align*} &\min\limits_{w,b}\;\frac{1}{2}||w||^2 \\ &\;\text{s.t.}\;\;\;y_i(wx_i+{b})\ge 1,\;\;i=1,2,...,N\end{align*}$
通常是最小化$||w||$。這是一個凸二次規劃問題，即待優化的函式$\frac{1}{2}||w||^2$是二次函式，不等式約束條件$1-y_i(wx_i+{b})\le 0$為可微凸函式（注意！小於等於0要求凸函式，如果大於等於0就要求是凹函式了）。
對偶演算法
上述帶約束優化滿足原始問題最優值與對偶問題最優值取等的條件，因此可以使用拉格朗日對偶性（點選連結）將原始優化問題轉換為其對偶問題求解。原始問題的拉格朗日函式為：
$\displaystyle \begin{gather}L(w,b,\alpha) = \frac{1}{2}||w||^2- \sum\limits_{i=1}^{N}\alpha_iy_i(wx_i+b)+\sum\limits_{i=1}^{N}\alpha_i,\,\,\alpha\ge 0 \label{}\end{gather}$
因此原始問題為：
$\displaystyle \begin{gather} \min\limits_{w,b}\max\limits_{\alpha\ge 0 }L(w,b,\alpha) \label{}\end{gather}$
則對偶問題為：
$\displaystyle \begin{gather}\max\limits_{\alpha\ge 0 } \min\limits_{w,b}L(w,b,\alpha) \label{}\end{gather}$
由KKT條件1式令梯度為0，計算對偶問題內部的$\min$函式
$\begin{aligned} &\nabla_wL(w,b,\alpha) = w-\sum\limits_{i=1}^{N}\alpha_iy_ix_i=0 \\ &\nabla_bL(w,b,\alpha) = -\sum\limits_{i=1}^{N}\alpha_iy_i=0 \\ \end{aligned}$
得
$\begin{gather} &w = \sum\limits_{i=1}^{N}\alpha_iy_ix_i \\ &\sum\limits_{i=1}^{N}\alpha_iy_i=0 \label{}\end{gather}$
代入$(3)$式，經過計算，對偶問題變為：
$\begin{gather} \begin{array}{lcl} \min\limits_{\alpha}\displaystyle\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_ix_j)-\sum\limits_{i=1}^{N}\alpha_i \\ \begin{aligned} \text{s.t.}\;&\sum\limits_{i=1}^{N}\alpha_iy_i=0\\ &\alpha_i\ge 0,i = 1,2,...,N \end{aligned} \end{array} \end{gather}$
這樣，只需先優化對偶問題，計算出最優的$\alpha^*$，再代入$(4)$式即可算出最優$w^*$。對於$b$，因為至少有一個$\alpha_j^*>0$（如果全都為0，由$(4)$式有$w=0$，不符合約束），對應KKT條件2式
$\alpha_i(y_i(wx_i+b)-1)=0$
於是有
$y_j(w^*x_j+b^*)-1=0$
實際上這個$x_j$就是與超平面最近的的樣本，也就是所謂的支援向量。另外也說明了這個優化問題的解一定在不等式約束的邊界上，而不在其內部。於是，提取$b^*$並代入$(4)$式，得：
$\begin{gather}\displaystyle b^* = y_j-\sum\limits_{i=1}^{N}\alpha_i^*y_i(x_ix_j)\end{gather}$
綜上，計算最優$w^*,b^*$的操作就是：先$(6)$式算出$\alpha^*$，再代入$(4),(7)$式算出$w^*,b^*$。
但是$(6)$實際上並不好算，當樣本量一大，$\alpha$需要分類討論的情況數以指數級上升（即每個$\alpha$是否為0），後面介紹開銷小的演算法。
線性SVM
引數計算
有時樣本會有特異點，不能保證每個樣本都滿足不等式約束。因此修改上面的“硬間隔最大化”為“軟間隔最大化”，則線性可分SVM變為線性SVM。即新增一個鬆弛變數$\xi$，允許原來的不等式約束不一定嚴格滿足，當然在優化函式中也要把這一損失加上，乘上懲罰引數$C$。得到如下最優化問題：
$\begin{gather} \begin{array}{lcl} \min\limits_{w,b,\xi}\;\displaystyle\frac{1}{2}||w||^2+C\sum\limits_{i=1}^{N}\xi_i \\ \begin{aligned} \text{s.t.}\;\;\;&y_i(wx_i+{b})\ge 1-\xi_i,\;\;i=1,2,...,N\\ &\xi_i\ge 0,\;\;i=1,2,...,N\\ \end{aligned} \end{array}\end{gather}$
顯然待優化函式與不等式約束都是凸函式（仿射函式也是凸函式）。因此同樣符合KKT條件，可以對偶化計算。拉格朗日函式為：
$ \begin{aligned} \displaystyle L(w,b,\xi,\alpha,\mu) =& \frac{1}{2}||w||^2+C\sum\limits_{i=1}^{N}\xi_i-\sum\limits_{i=1}^{N}\alpha_i(y_i(wx_i+b)-1+\xi_i)-\sum\limits_{i=1}^{N}\mu_i\xi_i,\\ &\text{where}\;\;\alpha_i\ge 0,\mu_i\ge 0 \end{aligned} $
則原始問題變為：
$ \min\limits_{w,b,\xi}\max \limits_{\alpha\ge 0 ,\mu \ge 0}L(w,b,\xi,\alpha,\mu) $
其對偶問題為：
$\begin{gather} \max \limits_{\alpha\ge 0 ,\mu \ge 0}\min\limits_{w,b,\xi}L(w,b,\xi,\alpha,\mu) \end{gather}$
由KKT條件1式令梯度為0，計算對偶問題內部$\min$函式，得：
\begin{align} &\nabla_wL(w,b,\xi,\alpha,\mu) = w-\sum\limits_{i=1}^{N}\alpha_iy_ix_i=0 \\ &\nabla_bL(w,b,\xi,\alpha,\mu) = -\sum\limits_{i=1}^{N}\alpha_iy_i=0 \notag\\ &\nabla_{\xi_i}L(w,b,\xi,\alpha,\mu) = C-\alpha_i-\mu_i=0 \notag \end{align}
代入$(9)$式，對偶問題變為：
\begin{gather} \begin{array}{lcl} \min\limits_{\alpha}\displaystyle\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_ix_j)-\sum\limits_{i=1}^{N}\alpha_i \\ \begin{aligned} \text{s.t.}\;&\sum\limits_{i=1}^{N}\alpha_iy_i=0\\ &0\le\alpha_i\le C,\;\;i = 1,2,...,N \end{aligned} \end{array} \end{gather}
其中$\alpha_i\le C$是由於$C-\alpha_i=\mu_i\ge0 $。類似地，接下來的操作就是：
1、算出$(11)$式的最優$\alpha^*$。
2、$\alpha^*$代入$(10)$式計算$w^*$。
3、找出滿足$\alpha_j^*$滿足$0<\alpha_j^*<C$。
此時$\mu_j^* = C-\alpha_j^*>0$，由KKT條件2式，有$\mu_j^*\xi_j^*=0$，因此$\xi_j^*=0$。
同樣地，由KKT2式，有$\alpha_j^*(y_j(w^*x_j+b^*)-1+\xi_j^*)=0$，因$\alpha_j^*>0$，於是有：
$\displaystyle b^* = y_j-\sum\limits_{i=1}^{N}\alpha_i^*y_i(x_ix_j)$
支援向量
線上性SVM中，因為有鬆弛變數$\xi$，不等式約束取等時樣本不一定在其類別的邊界上。上面只討論了使用小於$C$的$\alpha_j^*$，下面做個總結：
1、若$\alpha_i^* = 0$ ，則$\xi_i = 0$ ，分類正確，$x_i$在分離間隔邊界的外側；
2、若$0<\alpha_i^* < C$ ，則$\xi_i = 0$ ，分類正確，支援向量$x_i$恰好落在間隔邊界上；
3、若$\alpha_i^* = C,0<\xi_i<1$ ，則分類正確，$x_i$在間隔邊界與分離超平面之間；
4、若$\alpha_i^* = C,\xi_i=1$，則分類錯誤，$x_i$在分離超平面上；
5、若$\alpha_i^* = C,\xi_i>1$，則分類錯誤，$x_i$位於分離超平面誤分一側。
其中2~5都是支援向量。
合頁損失函式
線性SVM還有另一種等價的優化目標函式：
$\begin{gather}\displaystyle \min\limits_{w,b}\sum\limits_{i=1}^{N}\left[1-y_i(wx_i+b)\right]_++\lambda||w||^2\end{gather}$
其中
$[z]_+= \left\{ \begin{aligned} &z,\;\;z>0 \\ &0,\;\;z\le0 \end{aligned} \right.$
感覺可以直接梯度下降。
等價性證明
令$(12)$中
$\left[1-y_i(wx_i+b)\right]_+=\xi_i$
則
1、有$\xi_i\ge 0$（一個不等式約束成立）；
2、當$1-y_i(wx_i+b)>0$時，可得$y_i(wx_i+b)=1-\xi_i$；
3、當$1-y_i(wx_i+b)\le0$時，$\xi_i=0$，有$y_i(wx_i+b)\ge1-\xi_i$。
綜合2、3，不論$1-y_i(wx_i+b)$如何取值，總有$y_i(wx_i+b)\ge1-\xi_i$（另一個不等式約束成立）。
於是$(12)$可寫成：
\begin{array}{lcl} \min\limits_{w,b,\xi}\displaystyle\sum\limits_{i=1}^{N}\xi_i+\lambda||w||^2\\ \begin{aligned} \text{s.t.}\;\;\;&y_i(wx_i+{b})\ge 1-\xi_i,\;\;i=1,2,...,N\\ &\xi_i\ge 0,\;\;i=1,2,...,N\\ \end{aligned} \end{array}
然後優化項常係數權重改一下就和$(8)$一模一樣了。
非線性SVM
對於特徵分佈是非線性的樣本，需要將非線性可分特徵對映到另一個空間（維度不變或變高都可），變成線性可分特徵。然後才能用線性SVM來優化引數。如圖下左圖到右圖：
理論上需要定義確定的對映函式將輸入對映成線性可分的特徵，實際上這一中間環節可以隱去。下面說明這一方法。
核技巧
定義從輸入空間到特徵空間的對映$\phi(x):\mathcal{X}\to \mathcal{H}$，觀察線性可分SVM的對偶問題和最終的判別函式，裡面關於樣本特徵之間的運算都是內積。因此對映後的線性可分的樣本特徵要做的同樣是內積。定義這一內積為：
$K(x,z)=<\phi(x),\phi(z)>$，後面內積直接用$\phi(x)\phi(z)$表示
樣本的維度比較小還好，比如上圖的二維，可以直接想出一個對映，但是當維度很高時就很難想了。因此想到，可以跳過定義對映，直接定義這個$K(x,z)$，稱之為核函式。那麼什麼樣的核函式一定可以表示成兩個對映後的向量的內積呢？這樣的核函式叫做正定核。
正定核的充要條件
設$K:\mathcal{X}\times\mathcal{X}\to R$為對稱函式，則$K(x ,z) $為正定核函式的充要條件是：
對任意$x_i \in \mathcal{X}， i=1, 2,..., n, K(x， z) $對應的Gram 矩陣
$ \left[ \begin{matrix} K(x_1,x_1)&\cdots&K(x_1,x_n)\\ \vdots&&\vdots\\ K(x_n,x_1)&\cdots&K(x_n,x_n)\\ \end{matrix} \right]\succeq 0$
$\succeq 0$表示半正定。具體證明請看《統計學習方法》P136~139
常用正定核
多項式核函式：
$K(x,z)=(xz+1)^p$
高斯核函式：
$\displaystyle K(x,z)=\exp(-\frac{||x-z||^2}{2\sigma^2})$
使用核函式後，待優化的對偶問題變為：
$ \begin{array}{lcl} \min\limits_{\alpha}\displaystyle\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_jK(x_i,x_j)-\sum\limits_{i=1}^{N}\alpha_i \\ \begin{aligned} \text{s.t.}\;&\sum\limits_{i=1}^{N}\alpha_iy_i=0\\ &0\le\alpha_i\le C,\;\;i = 1,2,...,N \end{aligned} \end{array} $
分類決策函式變為：
$\displaystyle f(x) = \text{sign}\left(\sum\limits_{i=1}^{N}\alpha^*_iy_iK(x_i,x)+b^*\right)=\text{sign}\left(\sum\limits_{i\in S}\alpha^*_iy_iK(x_i,x)+b^*\right)$
即原來的直接內積$x_ix$變成了先對映後內積的$K(x_i,x)$。其中$S$為支援向量集合（$\alpha$不為0的樣本集合，即2.2支援向量中的2~5）。
然而，選擇合適的正定核以使輸入對映成線性可分還需要作其它的努力。。。。。。。。。。
SMO演算法
正如前面所說，在對偶問題中，$\alpha$需要分類討論的情況數隨著樣本量的增大以指數級上升（即每個$\alpha$是否為0），SMO（sequential minimal optimization）演算法可以加快對偶問題的優化。它採用迭代的方式，每次將待優化問題分離出一個小問題求解，最終求解原問題。
具體流程
初始化
初始化所有的$\alpha_i$為常數（通常為0），此時這些$\alpha_i$滿足對偶問題的兩個不等式約束：
$\begin{gather}&\sum\limits_{i=1}^{N}\alpha_iy_i=0\\ &0\le\alpha_i\le C,\;\;i = 1,2,...,N\\ \label{}\end{gather}$
實際上就是滿足KKT條件的1和4，因為$(13)$是條件1使梯度為0得出的，$(14)$是條件1和4共同得到的。但是，它們並不一定同時滿足KKT條件的2和3（因為原問題沒有等式約束，所以沒有條件5）：
$\begin{gather}\displaystyle\alpha_i(1-\xi_i-y_i(\sum\limits_{j=1}^N\alpha_jy_jK_{ji}+b))=0\label{}\end{gather}$
$\begin{gather}\displaystyle1-\xi_i-y_i(\sum\limits_{j=1}^N\alpha_jy_jK_{ji}+b)\le0\label{}\end{gather}$
也就是：
$\begin{gather}y_i(\sum\limits_{j=1}^N\alpha_jy_jK_{ji}+b)\left\{\begin{aligned}&\ge1,\;\;\alpha_i=0\\&=1,\;\;0<\alpha_i<C\\&\le1,\;\;\alpha_i=C\\\end{aligned}\right.\label{}\end{gather}$
如果條件2和3也都滿足的話，就迭代結束，也就達到最終的解了。其中每次迭代都會保持$(13),(14)$兩個約束成立。
迭代優化
每次迭代，選出最“不好”的兩個$\alpha$來進行優化，固定剩下的$N-2$個$\alpha$（這樣的操作有點像小批量梯度下降）。如何才算“不好”的$\alpha$放後面講，因為選擇$\alpha$基於優化的效率，為了說明效率所在，所以先說優化。
不失一般性，假設選擇的兩個變數是$\alpha_1,\alpha_2$。則這個子問題可以寫為（最小化中將與$\alpha_1,\alpha_2$無關的項去了）：
$\begin{array}{lcl} \begin{aligned} \min\limits_{\alpha_i,\alpha_2}W(\alpha_1,\alpha_2) = &\frac{1}{2}K_{11}\alpha_1^2+\frac{1}{2}K_{22}\alpha_2^2+y_1y_2K_{12}\alpha_1\alpha_2-\\ &(\alpha_1+\alpha_2)+y_1\alpha_1\sum\limits_{i=3}^Ny_i\alpha_iK_{i1}+y_2\alpha_2\sum\limits_{i=3}^Ny_i\alpha_iK_{i2} \\ \end{aligned}\\ \begin{aligned} \text{s.t.}\;\;&\alpha_1y_1+\alpha_2y_2 = -\sum\limits_{i=3}^Ny_i\alpha_i = \varsigma\\ &0\le\alpha_i\le C,\;\;\;i=1,2 \end{aligned} \end{array}$
由$(13)$式，$\alpha_1$又可以被$\alpha_2$表達，於是這個子優化就變為一個帶約束的一元二次函式最值問題，初中生的題目。主要操作就是先用導數求出二次函式的駐點，如果在約束內就為最終解，在約束外就選約束中與之較近的端點為解。儘管這麼簡單，但是為了後面的選擇，還是要推導一下。約束可以在二維座標系中表示出來：
因為$y_1,y_2$絕對值為1，所以只要關於它們的符號進行分類。分成兩種情況，$y_1\ne y_2$和$y_1=y_2$，於是可取的點分別如上圖a、b中斜線所示。設$\alpha_2$取值為$[L,H]$，則當$y_1\ne y_2$時
$L=\max(0,\alpha_2-\alpha_1),H=\min(C,C+\alpha_2-\alpha_1)$
你可能會有為什麼不用$\varsigma$而用$\alpha_2-\alpha_1$來算的疑問。這是因為每次迭代都保持$(13)$的成立，因此直接用$\alpha_2-\alpha_1$方便，而$\varsigma$需要算$N-2$個求和。又因為計算時利用了$(13),(14)$，所以這樣算出來的$\alpha_1,\alpha_2$依然能維持$(13),(14)$的成立。當$y_1=y_2$時
$L=\max(0,\alpha_2+\alpha_1-C),H=\min(C,\alpha_2+\alpha_1)$
然後就是簡單的先替換$\alpha_1$，再求導等於0，整理後得到：
$(K_{11}+K_{22}-2K_{12})\alpha_2^*=(K_{11}+K_{22}-2K_{12})\alpha_2+y_2(E_1-E_2)$
其中
\begin{gather} \displaystyle E_i=\left(\sum\limits_{j=1}^N\alpha_iy_iK(x_j,x_i)+b\right)-y_i \label{} \end{gather}
$E_i$理解為預測函式對$x_i$的預測值與其真實標籤$y_i$之差。再定義
$ \eta = K_{11}+K_{22}-2K_{12}$
$\eta$理解為$x_1,x_2$對映到特徵空間中的向量之間的距離（距離二範的平方），於是
$\begin{gather}\displaystyle\alpha_2^*=\alpha_2+\frac{y_2(E_1-E_2)}{\eta}\label{}\end{gather}$
然後更新$\alpha_2,\alpha_1$：
$ \alpha_2^{update}= \left\{ \begin{aligned} &H,&\alpha_2^*>H\\ &\alpha_2^*,&L\le\alpha_2^*\le H\\ &L,&\alpha_2^*<L\\ \end{aligned} \right. $
$\alpha_1^{update} = (\varsigma - \alpha_2^{update}y_2)y_1 = \alpha_1+y_1y_2(\alpha_2-\alpha_2^{update})$
最後還有$(18)$的$b$的計算，《統計學習方法》對$b$的計算感覺沒有說清楚。
在我理解，這個$b$的更新就是用更新後的$\alpha_1$或$\alpha_2$，看哪個在$(0,C)$區間，就用KKT條件2式即$(15)$直接計算$b$；如果兩個$\alpha$都是0或$C$，則取依然用$(15)$計算兩個$b$，取這兩個$b$的平均值。
我的疑問是：首先，更新完$\alpha_1,\alpha_2$後，$\alpha_1,\alpha_2$是否保證滿足$(15),(16)$式呢，也就是沒說明能不能用$(15)$來算$b$？其次，假設它們更新完後滿足$(15),(16)$式，但是如果$\alpha_1,\alpha_2$都不在$(0,C)$區間為什麼還能用$(15)$來算$b$呢？最後，書中只說了更新$b$，剛開始的$b$初始化為多少呢？還請懂的大佬不吝賜教。
變數的選擇
變數的選擇就是先遍歷所有的$\alpha_i$，檢視哪個$\alpha_i$違反$(17)$最嚴重，作為待更新的$\alpha_1$；然後再選擇使$(19)$中的$|E_1-E_2|$最大的$\alpha_2$，以使$\alpha_2$變化最大。