非線性支援向量機 與核函式

有些資料集，可能需要一個橢圓等非線性的超曲面才能把正負例分開，顯然這不能用前兩種方法了。

那把資料集對映到一個更高維的特徵空間（也即輸入空間到特徵空間的對映），可以將資料集變成線性分類問題也就可以用線性支援向量機來解決。這叫做核技巧。

核技巧應用到支援向量機，其基本想法就是透過一個非線性變換將輸入空間(歐氏空間Rⁿ或離散集合)對應於一個特徵空間(希爾伯特空間H)，使得在輸入空間Rⁿ中的超曲面模型對應於特徵空間H中的超平面模型(支援向量機)。

核技巧的想法是，在學習與預測中只定義核函式K(x,z)，而不顯式地定義對映函式。對於給定的核K(x,z)，特徵空間x和對映函式的取法並不唯一，可以取不同的特徵空間，即便是在同一特徵空間裡也可以取不同的對映。

核函式

核技巧在支援向量機中的應用

對偶問題的目標函式中，內積(x_i*x_j)用核函式K(x_i, x_j)來代替

分類決策函式也可用核函式代替，變為：

正定核

通常所說的核函式就是正定核函式。

常用核函式

非線性支援向量機學習演算法