核函式匯出的核矩陣性質的證明

定理中說核矩陣是半正定且對稱的。我們先證其對稱性：
$$\left(\begin{array}{ccccc}\kappa (x_1,x_1)& \kappa (x_1,x_2)& \kappa (x_1,x_3)& \cdots & \kappa (x_1,x_n)\\ \kappa (x_2,x_1)& \kappa (x_2,x_2)& \kappa (x_2,x_3)& \cdots & \kappa (x_2,x_n)\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \kappa (x_n,x_1)& \kappa (x_n,x_2)& \kappa (x_n,x_3)& \cdots & \kappa (x_n,x_n)\end{array}\right)$$將$\kappa (x_i,x_j)$按定義展開得到$$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$由於$\kappa (x_i,x_j)$是一個$1\times 1$的矩陣(或者理解成一個數)，取轉置得到$$\kappa (x_i,x_j)=\kappa (x_i,x_j{)}^T=\varphi (x_j{)}^T\varphi (x_i)=\kappa (x_j,x_i)$$即證明了核矩陣的對稱性，下證其半正定性：
將按照定義展開的$\kappa (x_i,x_j)$帶入核矩陣中
$$\left(\begin{array}{ccccc}\varphi (x_1{)}^T\varphi (x_1)& \varphi (x_1{)}^T\varphi (x_2)& \varphi (x_1{)}^T\varphi (x_3)& \cdots & \varphi (x_1{)}^T\varphi (x_n)\\ \varphi (x_2{)}^T\varphi (x_1)& \varphi (x_2{)}^T\varphi (x_2)& \varphi (x_3{)}^T\varphi (x_2)& & \varphi (x_2{)}^T\varphi (x_n)\\ & & & \cdots & \\ ⋮& ⋮& ⋮& & ⋮\\ & & & \ddots & \\ \varphi (x_n{)}^T\varphi (x_1)& \varphi (x_n{)}^T\varphi (x_2)& \varphi (x_n{)}^T\varphi (x_3)& & \varphi (x_n{)}^T\varphi (x_n)\\ & & & \cdots & \end{array}\right)$$取其$k$階順序主子式$(1\le k\le n)$
$$\left|\begin{array}{ccccc}\varphi (x_1{)}^T\varphi (x_1)& \varphi (x_1{)}^T\varphi (x_2)& \varphi (x_1{)}^T\varphi (x_3)& \cdots & \varphi (x_1{)}^T\varphi (x_k)\\ \varphi (x_2{)}^T\varphi (x_1)& \varphi (x_2{)}^T\varphi (x_2)& \varphi (x_3{)}^T\varphi (x_2)& & \varphi (x_2{)}^T\varphi (x_k)\\ & & & \cdots & \\ ⋮& ⋮& ⋮& & ⋮\\ & & & \ddots & \\ \varphi (x_n{)}^T\varphi (x_1)& \varphi (x_n{)}^T\varphi (x_2)& \varphi (x_n{)}^T\varphi (x_3)& & \varphi (x_n{)}^T\varphi (x_n)\\ & & & \cdots & \end{array}\right|$$當$k=1$時，顯然此時的順序主子式就是一個無窮維向量的轉置與自身的內積，必然大於等於0。
當$k=2$時，順序主子式為
$$\left|\begin{array}{cc}\varphi (x_1{)}^T\varphi (x_1)& \varphi (x_1{)}^T\varphi (x_2)\\ \varphi (x_2{)}^T\varphi (x_1)& \varphi (x_2{)}^T\varphi (x_2)\end{array}\right|=(\varphi (x_1)-\varphi (x_2){)}^T(\varphi (x_1)-\varphi (x_2))$$也同樣可以看作是一個無窮維向量的轉置與自身的內積，是非負的。
當$k\ge 2$時，我們將順序主子式中的第一列和第二列同時減去第三列得到
$$(\varphi (x_1)-\varphi (x_3))(\varphi (x_2)-\varphi (x_3))\left|\begin{array}{ccccc}\varphi (x_1{)}^T& \varphi (x_1{)}^T& \varphi (x_1{)}^T\varphi (x_3)& \cdots & \varphi (x_1{)}^T\varphi (x_k)\\ \varphi (x_2{)}^T& \varphi (x_2{)}^T& \varphi (x_3{)}^T\varphi (x_2)& & \varphi (x_2{)}^T\varphi (x_k)\\ & & & \cdots & \\ ⋮& ⋮& ⋮& & ⋮\\ & & & \ddots & \\ \varphi (x_n{)}^T& \varphi (x_n{)}^T& \varphi (x_n{)}^T\varphi (x_3)& & \varphi (x_n{)}^T\varphi (x_n)\\ & & & \cdots & \end{array}\right|$$此時順序主子式的行列式有兩列線性相關，結果為0，所以根據定義，該矩陣為一半正定的矩陣，故得證。