在上一篇學習SVM中 從最大間隔角度出發，詳細學習瞭如何用拉格朗日乘數法求解約束問題，一步步構建SVM的目標函式，這次嘗試從另一個角度學習SVM。
回顧監督學習要素
-
資料：（\(x_i,y_i\)）
-
模型 \(\hat{y_i} = f(x_i)\)
-
目標函式（損失函式+正則項） \(l(y_i,\hat{y}_i)\)
-
用優化演算法求解
SVM之Hinge Loss
-
模型
svm要尋找一個最優分離超平面,將正樣本和負樣本劃分到超平面兩側
\[f(x) = \bold w^\top \cdot \bold x +b
\]
-
目標函式
\[\underset{w,b}{min}\sum^N_{i=1}max(0,1-y_i(\bold w^\top \cdot x_i+b))+\lambda ||\bold w||^2 \]損失函式+正則化
-
優化演算法
梯度下降（求導時需要分段求導,見[1]）
為什麼是Hinge Loss
- 保持了支援向量機解的稀疏性
上圖橫軸 \(yf(x)>0\) 表示預測和真實標籤一樣，縱軸表示損失。可以看處Hinge Loss 和其他loss的區別在於，當 \(y_if(x_i) \geq 1\) 時，損失函式值為 0，意味著對應的樣本點對loss沒有貢獻，就沒有參與權重引數的更新，也就是說不參與最終超平面的決定，這才是支援向量機最大的優勢所在，對訓練樣本數目的依賴大大減少，而且提高了訓練效率。
[1] https://blog.csdn.net/oldmao_2001/article/details/95719629
[2] https://www.cnblogs.com/guoyaohua/p/9436237.html
[3] https://blog.csdn.net/qq_32742009/article/details/81432640