UA MATH567 高維統計II 隨機向量6 亞高斯隨機向量的應用: 半正定規劃

半正定規劃(semidefinite programming, SDP)是凸優化的一個分支：

$$\begin{gathered} \underset{X}{\max }⟨A,X⟩ \\ s.t.X\ge 0,⟨B_i,X⟩=b_i,i=1,\cdots ,m \end{gathered}$$

其中$X\ge 0$表示$X$半正定，
$$⟨A,X⟩=tr(A^{T}X)=\sum _{i,j=1}^n{A}_{ij}{X}_{ij}$$

顯然目標函式是線性函式、可行域是凸集（所有的半正定矩陣形成的集合是凸集）與凸多面體（$⟨B_i,X⟩=b_i,i=1,\cdots ,m$）的交集，所以可行域也是凸集，因此這是一個凸優化。儘管這是一個凸優化，但它的求解難度也是非常大的，因為決策變數個數是隨著$X$的維數平方增長的，比如$X$是$100\times 100$的矩陣，決策變數就有一萬個，所以半正定規劃很容易變成高維問題。

---

現在我們想用SDP來解決一個整數規劃(integer programming)的問題，記這個問題為(IP)：

$$\begin{gathered} \underset{x}{\max }{x}^{T}Ax \\ x=(x_1,\cdots ,x_n),x_i=\pm 1,A^T=A \end{gathered}$$

解決這個問題最粗暴的思路是遍歷所有可能的$x$的取值，一共有$2^n$種，顯然這是一個NP演算法，於是我們需要設計一些更優的演算法來降低複雜度。

一種可行的方法是做semidefinite relaxation，考慮
$$\underset{{\Vert X_i\Vert }_2=1,i=1,\cdots ,n}{\max }\sum _{i,j=1}^n{A}_{ij}⟨X_i,X_j⟩$$

這個問題可以看成是(IP)的一種鬆弛，接下來我們把這個relaxation改寫為SDP，定義$X=[X_{ij}],X_{ij}=⟨X_i,X_j⟩$，於是relaxation等價於(SDP)
$$\begin{gathered} \underset{X\ge 0}{\max }⟨A,X⟩ \\ s.t.X_{ii}=1=⟨B_i,X⟩ \end{gathered}$$

其中$B_i$是selection matrix，只有第$i$行第$i$列的元素為1，其他元素為0，作用是選擇某矩陣第$i$行第$i$列的元素。記$INT(A)$為整數規劃的解，記$SDP(A)$為它的semidefinite relaxation的解，根據relaxation的性質

$$INT(A)\le SDP(A)$$

定理 $INT(A)\le SDP(A)\le 2K\times INT(A),K\le 1.783$

下界是自然成立的，但上界的證明極其複雜。為了證明這個定理，我們需要Grothendieck不等式，這裡先敘述一下，下一篇給出Grothendieck不等式的證明。

Grothendieck不等式
$A$是$m\times n$的實矩陣， x i , y j ∈ { − 1 , 1 } x_i,y_j \in \{-1,1\} xi​,yj​∈{−1,1}，假設$|{\sum }_{i,j}{A}_{ij}{x}_i{y}_j|\le 1$，則$\forall H$(Hilbert space)，$\forall u_i,v_j\in H$，$\Vert u_i\Vert =\Vert v_j\Vert =1$，
$$|\sum _{i,j}{A}_{i,j}⟨u_i,v_j⟩|\le K,K\le 1.783$$

推論 假設$A$是對稱矩陣， x i ∈ { − 1 , 1 } x_i \in \{-1,1\} xi​∈{−1,1}，假設$|{\sum }_{i,j}{A}_{ij}{x}_i{x}_j|\le 1$，則$\forall H$(Hilbert space)，$\forall u_i,v_j\in H$，$\Vert u_i\Vert =\Vert v_j\Vert =1$，
$$|\sum _{i,j}{A}_{i,j}⟨u_i,v_j⟩|\le 2K,K\le 1.783$$

說明
從Grothendieck不等式到它的推論，我們只需要說明$|{\sum }_{i,j}{A}_{ij}{x}_i{x}_j|\le 1$可以推出$|{\sum }_{i,j}{A}_{ij}{x}_i{y}_j|\le 2$，然後根據Grothendieck不等式就可以得到推論了。

根據這個推論，我們可以直接得到上面的定理：
$$SDP(A)\le 2K\times INT(A),K\le 1.783$$