UA SIE545 優化理論基礎4 對偶理論簡介4 求解對偶問題的割平面演算法

這一講我們介紹一個求解對偶問題的演算法——割平面演算法(cutting plane algorithm)。

假設原問題為
$$\underset{x\in X}{\min }f(x)s.t.g(x)\le 0,h(x)=0$$

假設$f,g,h$是連續函式，$X$是緊集。根據定義，這個優化的對偶問題是
$$\underset{u\ge 0}{\max }\theta (u,v)=\underset{u\ge 0}{\max }\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x)$$

我們可以等價地把這個優化改寫成：
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le \theta (u,v)=\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x) \\ u\ge 0 \end{gathered}$$

進一步，
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x)+u^{T}g(x)+v^{T}h(x),\forall x\in X \\ u\ge 0 \end{gathered}$$

當給定$x$的值時，這個優化就是一個簡單的線性規劃，為了讓這種替代可行，我們希望$X$是一個有限集，這樣才能在有限步內結束迴圈。但一般$X$都不會是有限集，這時我們可以先給定一個$x$的初值，然後在每一次做完這個優化後，再去求解${\min }_{x\in X}f(x)+u^{T}g(x)+v^{T}h(x)$這個問題，從而得到一個新的$x$，這樣就避免了去遍歷無限集$X$。基於這個思想，我們可以定義下面的演算法：

1. 初始化：定義$k=1$，選擇初值$x_0$使得$x_0\in X$, $g(x_0)\le 0,h(x_0)=0$
2. 求解Master Program：$$\begin{gathered} (z_k,u_k,v_k)=\underset{z,u,v}{\mathrm{argmax}}z \\ s.t.z\le f(x)+u^{T}g(x)+v^{T}h(x),\forall x=x_0,x_1,\cdots ,x_{k-1} \\ u\ge 0 \end{gathered}$$
3. 求解subproblem: $$x_k=\underset{x\in X}{\mathrm{argmin}}f(x)+u_k^{T}g(x)+v_k^{T}h(x)$$
4. 停止準則：如果$$z_k=\theta (u_k,v_k)=f(x_k)+u_k^{T}g(x_k)+v_k^{T}h(x_k)$$則停止迴圈，返回$(u_k,v_k)$；如果$z_k>\theta (u_k,v_k)$, 賦值$k=k+1$，回到第二步。

---

例 用割平面法求解下面的優化的對偶問題
min ⁡ ( x 1 , x 2 ) ∈ X f ( x 1 , x 2 ) = ( x 1 − 2 ) 2 + x 2 2 4 s . t . g ( x 1 , x 2 ) = x 1 − 7 2 x 2 − 1 ≤ 0 X = { ( x 1 , x 2 ) : 2 x 1 + 3 x 2 = 4 } \min_{(x_1,x_2) \in X} f(x_1,x_2)= (x_1-2)^2+\frac{x_2^2}{4} \\ s.t. g(x_1,x_2)=x_1-\frac{7}{2}x_2-1 \le 0 \\ X = \{(x_1,x_2):2x_1+3x_2=4\} (x1​,x2​)∈Xmin​f(x1​,x2​)=(x1​−2)2+4x22​​s.t.g(x1​,x2​)=x1​−27​x2​−1≤0X={(x1​,x2​):2x1​+3x2​=4}

找一個初始值$x_0=(\frac{5}{4},\frac{1}{2})$，

第一次迴圈：

求解Master Problem
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x_0)+u^{T}g(x_0)+v^{T}h(x_0)=\frac{5}{8}-\frac{3}{2}u \\ u\ge 0 \end{gathered}$$

最優解為$(z_1,u_1)=(\frac{5}{8},0)$。

求解subproblem
$$\begin{gathered} x_1=\underset{x\in X}{\mathrm{argmin}}f(x)+u_k^{T}g(x)+v_k^{T}h(x) \\ =\underset{x\in X}{\mathrm{argmin}}f(x)=(2,0) \end{gathered}$$

判斷是否停止
$z_1=\frac{5}{8}>\theta (u_1)=f(x_1)=0$，所以演算法繼續。

第二次迴圈：
求解Master Problem
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x_0)+u^{T}g(x_0)+v^{T}h(x_0)=\frac{5}{8}-\frac{3}{2}u \\ z\le f(x_1)+u^{T}g(x_1)+v^{T}h(x_1)=u \\ u\ge 0 \end{gathered}$$

最優解為$(z_2,u_2)=(\frac{1}{4},\frac{1}{4})$。

。。。。

然後按步驟繼續迴圈即可！