支援向量機(非線性模型)——改寫最佳化目標函式和限制條件

Lois發表於2020-07-05

SVM 處理非線性

  1. 最小化:

    \displaystyle \dfrac{1}{2}||W||^2 + C\sum_{i=1}^{N}\xi_i\\ 其中 \xi 為鬆弛變數 ( Slack Variable )

  2. 限制條件:
    (1)

    y_i[W^TX_i + b]\geq 1- \xi_i\\

    (2)

    \xi_i \geq0

\xi_i的作用:

使限制條件 (1) 在非線性條件下成立

目標函式中C 的作用:

1.如果\xi_i特別大,無論y_iX_i如何取,條件 ( 1 ) 都成立,所以整個最佳化問題將變得非常發散。所以,我們在目標函式\xi_i前面新增一個係數C,用來限制\xi_i的大小。
2.最小化||W||, 從而使間隔最大化。

正則項 ( Regulation Term )

\displaystyle C\sum_{i=1}^{N}\xi_i 為正則項

正則項作用:使整個目標函式變得更規範化,即原來在非線性條件下無解問題轉化成有解問題。 或者在其他條件下可能有解,但解不是我們想要的,我們此時也需要加一個正則項,將解變成我們想要的。

其中C是我們事先設定的引數。

本作品採用《CC 協議》,轉載必須註明作者和本文連結
Hacking

相關文章