線性規劃的對偶問題——由拉格朗日對偶問題匯出

線性規劃的對偶問題可由拉格朗日函式匯出，這不僅提供了另一種理解問題的視角，還揭示了原問題與對偶問題之間深刻的關係。透過構造拉格朗日函式，原問題的約束條件被整合到目標函式中，使得我們能夠在拉格朗日乘子的空間中尋求最優解。透過拉格朗日函式，可以將原始線性規劃問題的最優解與對偶問題的最優解聯絡起來，揭示了兩者在解空間和目標值上的對稱關係。具體而言，原始問題的約束條件在對偶問題中表現為目標函式的約束，反之亦然。這種對稱關係使得對偶問題不僅是原問題的一個映象，更是在解的性質和目標函式上表現出一致性。

一、線性規劃的最優解存在理論

線性規劃問題通常表示為：

\[\begin{align} \max \quad & c^T x \\ \text{s.t.} \quad & Ax \leq b \\ & x \geq 0 \end{align} \]

其中：

• \(x \in \mathbb{R}^n\) 是決策變數向量，
• \(c \in \mathbb{R}^n\)是目標函式的係數向量，
• \(A \in \mathbb{R}^{m \times n}\)是約束矩陣，
• $ b \in \mathbb{R}^m$ 是約束向量。

2.1 可行域的存在性

假設可行域是非空的，即存在一個\(x \geq 0\)使得\(Ax \leq b\)。如果沒有可行解，那麼問題無解，無法進行生產計劃。在實際生產計劃問題中，生產數量\(x\)通常是有限的，因為企業的生產能力和資源是有限的。因此，假設可行域是有界的，即存在一個正數\(M\)，使得所有可行解\(x\) 滿足$| x| \leq M $。

2.2最優解的存在性

線性規劃問題的目標函式\(c^T x\)是一個線性函式，線上性規劃的可行域上是連續的。線性約束\(Ax \leq b\)和\(x \geq 0\)定義的可行域是一個凸集。根據線性規劃的最優解存在性定理，一個線上性約束定義的有界可行域上的連續線性目標函式必有最優解。因此，對於生產計劃問題，我們可以斷言其必有最優解。

二、匯出線性規劃的對偶問題

2.1拉格朗日對偶問題

考慮一個一般形式的非線性規劃問題(目標函式最小化)：

\[\begin{align} \min \quad & f(x) \\ \text{s.t.} \quad & g_i(x) \leq 0, \quad i = 1, \ldots, m \\ & h_j(x) = 0, \quad j = 1, \ldots, p \end{align} \]

其中，\(f(x)\) 是目標函式，\(g_i(x) \leq 0\)是不等式約束，\(h_j(x) = 0\)是等式約束。

• 拉格朗日函式
  為了將約束條件整合到目標函式中，我們構造拉格朗日函式：

\[L(x, \lambda, \nu) = f(x) + \sum_{i=1}^{m} \lambda_i g_i(x) + \sum_{j=1}^{p} \nu_j h_j(x) \]

其中，\(\lambda_i \geq 0\)是與不等式約束\(g_i(x) \leq 0\)相關的拉格朗日乘子，\(\nu_j\)是與等式約束\(h_j(x) = 0\)相關的拉格朗日乘子。

拉格朗日對偶函式\(g(\lambda, \mu)\)定義為：

\[g(\lambda, \mu) = \inf_{x \in \mathbb{R}^n} L(x, \lambda, \mu) \]

對偶函式\(g(\lambda, \mu)\)是透過在所有\(x\)上求拉格朗日函式的下界得到的，即：

\[g(\lambda, \mu) = \inf_{x \in \mathbb{R}^n} \left[ f(x) + \sum_{i=1}^{m} \lambda_i g_i(x) + \sum_{j=1}^{p} \mu_j h_j(x) \right] \]

拉格朗日對偶問題是最大化拉格朗日對偶函式

\[g(\lambda, \mu)：\max_{\lambda \geq 0, \mu \geq 0} g(\lambda, \mu) \]

即：

\[\max_{\lambda \geq 0, \mu \geq 0} \left\{ \inf_{x \in \mathbb{R}^n} \left[ f(x) + \sum_{i=1}^{m} \lambda_i g_i(x) + \sum_{j=1}^{p} \mu_j h_j(x) \right] \right\} \]

2.2線性規劃的對偶函式

設線性規劃為

\[\begin{align} \min_{x \in \mathbb{R}^n} \quad c^T x\\ Ax \geq b \\ x \geq 0 \end{align} \]

其中\(c = [c_1, c_2, \ldots, c_n]\) 是目標函式的係數向量，\(x = [x_1, x_2, \ldots, x_n]\)是決策變數向量；\(A\)是約束條件的係數矩陣，\(b = [b_1, b_2, \ldots, b_m]\) 是約束條件的右側常數向量。這裡假設\(A\) 是一個 \(m \times n\)矩陣。

線性規劃問題的拉格朗日函式

\[L(x, \lambda, \mu) = c^T x + \lambda^T (b - Ax) - \mu^T x \]

其中\(\lambda = [\lambda_1, \lambda_2, \ldots, \lambda_m]\)是不等式約束\(Ax \geq b\)的拉格朗日乘子向量，\(\mu = [\mu_1, \mu_2, \ldots, \mu_n]\)是非負性約束\(x \geq 0\)的拉格朗日乘子向量。

拉格朗日對偶函式
拉格朗日對偶函式\(g(\lambda, \mu)\)定義為原始問題的最優值的下界，即：

\[g(\lambda, \mu) = \inf_{x \geq 0} L(x, \lambda, \mu) \]

根據拉格朗日函式的定義：

\[L(x, \lambda, \mu) = c^T x + \lambda^T (b - Ax) - \mu^T x \]

要最小化$$L(x, \lambda, \mu)$$，需要考慮非負性約束\(x \geq 0\)。

拉格朗日對偶問題
拉格朗日對偶問題是最大化拉格朗日對偶函式\(g(\lambda, \mu)\)，即：

\[\max_{\lambda \geq 0, \mu \geq 0} \quad g(\lambda, \mu) \]

換句話說，拉格朗日對偶問題可以表示為：

\[\max_{\lambda \geq 0, \mu \geq 0} \left\{ \inf_{x \geq 0} [c^T x + \lambda^T (b - Ax) - \mu^T x] \right\} \]

2.3 線性規劃的對偶問題

根據前面的推導，拉格朗日對偶函式\(g(\lambda, \mu)\)的表示式是：

\[g(\lambda, \mu) = \begin{cases} b^T \lambda & \text{if } A^T \lambda + \mu = c, \\ -\infty & \text{otherwise}. \end{cases}\]

將上述對偶函式轉換為線性規劃的標準矩陣形式，我們可以按照以下步驟進行：

• 引入新的變數和約束
  引入變數\(\lambda \in \mathbb{R}^m\) 和\(\mu \in \mathbb{R}^n\)，並考慮以下約束條件：

\[A^T \lambda + \mu = c \]

其中\(\lambda \geq 0\) 和\(\mu \geq 0\)。

• 目標函式最大化\(b^T \lambda\)。

\[\max_{\lambda \geq 0, \mu \geq 0} \quad b^T \lambda \]

• 約束條件
  除了上面引入的等式約束\(A^T \lambda + \mu = c\)，還要滿足\(\lambda \geq 0\)和\(\mu \geq 0\)。

綜合以上步驟，線性規劃的對偶問題可以寫為：

\[\begin{align} \max_{\lambda, \mu} \quad b^T \lambda\\ A^T \lambda + \mu = c \\ \lambda \geq 0 \quad \mu \geq 0 \end{align}\]

這個形式清晰地顯示了對偶函式在給定約束條件下的定義和有效性。

2.4 滿足強對偶定理

• 拉格朗日函式的最小化
  要最小化拉格朗日函式\(L(x, \lambda)\)，我們對\(x\)求偏導並令其等於零：

\[\nabla_x L(x, \lambda) = c - A^T \lambda = 0 \]

從而得到最優解 \(x^*(\lambda)\)：

\[x^*(\lambda) = A^T \lambda \]

• 替換到拉格朗日函式
  將最優解\(x^*(\lambda)\)帶入拉格朗日函式：

\[g(\lambda) = L(x^*(\lambda), \lambda) = c^T x^*(\lambda) - \lambda^T (A x^*(\lambda) - b)\\ g(\lambda) = c^T A^T \lambda - \lambda^T (AA^T \lambda - Ab)\\ g(\lambda) = \lambda^T (AA^T \lambda) - b^T A^T \lambda\]

• 對偶問題的最大化
  我們希望最大化\(g(\lambda)\)：

\[\max_{\lambda \geq 0} \quad g(\lambda) = \max_{\lambda \geq 0} \left\{ \lambda^T (AA^T \lambda) - b^T A^T \lambda \right\} \]

這個最大化問題可以透過線性規劃的方法求解，它給出了原始線性規劃問題的最優解。因此，強對偶定理得證。

總結

透過拉格朗日函式匯出的對偶問題，不僅為我們提供了理解和求解線性規劃問題的新工具，還揭示了原問題與對偶問題之間深刻而優雅的數學關係。具體而言，拉格朗日對偶理論使得原問題的約束條件被整合到目標函式中，從而在拉格朗日乘子的空間中尋求最優解。這種對稱性和互補性在最佳化理論和實際應用中具有重要的意義和廣泛的應用價值。例如，在經濟學、工程學和管理科學中，對偶問題常被用於資源分配、成本控制和生產排程等領域，提供了理論基礎和實用方法。
這種對偶關係在最佳化理論中起著重要作用。首先，它幫助我們理解最優性條件，證明最優解的存在性和唯一性。這是透過分析原問題和對偶問題的解空間和目標函式之間的對稱關係實現的。在進行大規模問題求解時，對偶問題的引入和分析常常能顯著簡化計算過程，提高求解效率。例如，在一些複雜的最佳化問題中，對偶問題的解可以為原問題的解提供界限，從而縮小搜尋空間，提升求解速度。這種方法不僅有助於找到最優解，還能為實際應用中的複雜決策問題提供有效的解決方案。

參考文獻

1. 拉格朗日鬆弛（Lagrangian relaxation）
2. 拉格朗日對偶問題
3. 最最佳化方法3——對偶理論