Kernel Method

qq_43250952發表於2020-11-08

核方法

核方法利用對映 ϕ ( x ) \phi(x) ϕ(x)將輸入空間 X \mathcal{X} X轉換為特徵空間 Z \mathcal{Z} Z。

從模型角度上看，核方法的非線性帶來了高維轉換，即 x → ϕ ( x ) x\rightarrow\phi(x) x→ϕ(x) ，從而利用高維比低維更容易線性可分的優點，來對模型進行調整。

從優化的角度上看，核方法帶來了內積，即 x i T x j → k ( x i , x j ) = ϕ ( x i ) T ϕ ( x j ) x_i^Tx_j \rightarrow k(x_i,x_j)=\phi(x_i)^T\phi(x_j) xiT​xj​→k(xi​,xj​)=ϕ(xi​)Tϕ(xj​)，並且可以直接通過核函式 k ( x i , x j ) k(x_i,x_j) k(xi​,xj​)求得內積，而並不需要先求得複雜的 ϕ ( x i ) \phi(x_i) ϕ(xi​)。以高斯核為例，
k ( x , x ′ ) = exp ⁡ ( − ( x − x ′ ) 2 σ 2 ) k(x,x^{'})=\exp(-\frac{(x-x^{'})}{2\sigma^2}) k(x,x′)=exp(−2σ2(x−x′)​)

核函式將高維度的內積運算轉換到了低維度，從而避免了“維數災難”

相關文章