支援向量機的目標是找到使決策界和訓練樣本之間最大化最小距離的線。
最優間隔分類器
最有間隔分類器h是這樣的：
h(x)=sign(w^Tx-b)
其中(w,b)\in\R^n \times\R是以下最優化問題的解決方案：
\min\frac{1}{2}||w||^2
使得
y^{(i)}(w^Tx^{(i)}-b)\ge1
備註：該線定義為w^Tx-b=0
合頁損失
合頁損失用於 SVM，定義如下：
L(z,y)=[1-yz]_+=\max(0,1-yz)
核
給定特徵對映\phi，我們定義核K為：
K(x,z)=\phi(x)^T\phi(z)
在實踐中，由K(x,z)=\exp(-\frac{||x-z||^2}{2\sigma^2})定義的核K被稱為高斯核，並且經常使用這種核。
備註：我們說我們使用「核技巧」來計算使用核的成本函式，因為我們實際上不需要知道顯式對映\phi， 通常，這非常複雜。相反，只需要K(x,z)的值。
拉格朗日
我們將拉格朗日\mathcal{L}(w,b)定義如下：
\mathcal{L}(w,b)=f(w)+\sum\limits_{i=1}^l\beta_ih_i(w)
備註：係數\beta_i被稱為拉格朗日乘子
本作品採用《CC 協議》，轉載必須註明作者和本文連結