Jensen 不等式證明（數形結合）

Jensen 不等式定義

若 \(f(x)\) 為區間 \(I\) 上的下凸函式，則對於任意 \(x_{i} \in I\) 和滿足 \(\displaystyle \sum_{i=1}^{n} \lambda_{i} = 1\) 的 \(\lambda_{i} \gt 0 \left( i = 1, 2, \cdots, n \right)\)，成立

\[f \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i}) \]

確定 \(\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i}\) 的範圍

首先透過放縮確定 \(\displaystyle\sum_{i=1}^{n} \lambda_{i} x_{i}\) 的範圍。不妨設 \(x_{1} \leqslant x_{2} \leqslant ... \leqslant x_{n}\)，則：

\[\begin{equation} \begin{aligned} &\sum_{i=1}^n \lambda_{i} x_{1} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{n} \\ \implies & x_{1} \sum_{i=1}^n \lambda_{i} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{n} \sum_{i=1}^{n} \lambda_{i} \\ \implies & x_{1} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{n} \end{aligned} \end{equation} \]

即 \(\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{1},\, x_{n} \right]\)。

證明下凸函式的弧縱座標 \(\leqslant\) 弦縱座標

下凸函式的帶 \(\lambda\) 引數定義的本質是在給定區間上任意點 \(x\) 的弧縱座標 \(\leqslant\) 弦縱座標。

帶 \(\lambda\) 引數的下凸函式定義為：

\[\begin{equation} \forall x_{1}, x_{2} \in I \ \forall \lambda \in \left( 0, 1 \right) : f \left(\lambda x_{1} + \left(1 - \lambda \right) x_{2} \right) \leqslant \lambda f \left( x_{1} \right) + \left( 1 - \lambda \right) f \left( x_{2} \right) \end{equation} \]

取 $ \forall x \in \left[x_{1}, x_{2} \right]$，猜想 \(\lambda\) 和 \(x\) 之間存在一一對映，可以用 \(x\) 表示 \(\lambda\)。令 \(x = \lambda x_{1} + \left(1 - \lambda \right) x_{2}\)，得 \(\displaystyle \lambda = \frac{x_{2} - x}{x_{2} - x_{1}}\)。顯然 $\displaystyle \frac{x_{2} - x}{x_{2} - x_{1}} \in \left[ 0, 1 \right] $，注意到定義中的 \(\lambda\) 如果取閉區間 \(\left[0, 1\right]\)，不等式依然成立。所以 \(\displaystyle \frac{x_{2} - x}{x_{2} - x_{1}}\) 為一個符合條件的 \(\lambda\)，代入定義得：

\[\begin{equation} \begin{aligned} & f \left( \frac{x_{2} - x}{x_{2} - x_{1}} x_{1} + \left(1 - \frac{x_{2} - x}{x_{2} - x_{1}} \right) x_{2} \right) \leqslant \frac{x_{2} - x}{x_{2} - x_{1}} f \left( x_{1} \right) + \left( 1 - \frac{x_{2} - x}{x_{2} - x_{1}} \right) f \left( x_{2} \right) \\ \implies & f \left( x \right) \leqslant \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}} \end{aligned} \end{equation} \]

設 $\displaystyle \tilde{y} = f\left(x\right), \bar{y} = \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}} $。
點 \(x_{1}\) 和 \(x_{2}\) 連成的直線 \(L\left(x_{1}, x_{2}\right)\) 的解析式恰為 \(\displaystyle y = \frac{x_{2} - x}{x_{2} - x_{1}} x + \frac{x_{2} f \left( x_{1} \right) - x_{1} f \left( x_{2} \right)}{x_{2} - x_{1}}\)。所以 \(\left(x, \bar{y}\right)\) 在直線 \(L\left(x_{1}, x_{2}\right)\) 上，\(\bar{y}\) 為弦縱座標。再由不等式 \(\left(3\right)\) 推出下面的命題成立：

\(\textbf{命題1}\)：\(f\left(x\right)\) 為 \(I\) 上的下凸函式，\(\forall x_{1}, x_{2} \in I\)，\(\forall x \in \left[ x_{1}, x_{2} \right]\)，過點 \(\left(x_{1},\, f\left(x_{1}\right)\right)\) 和點 \(\left(x_{2},\, f\left(x_{2}\right)\right)\) 作直線 \(L(x_{1},\, x_{2})\)，過點 \(\left(x , 0\right)\) 作垂直於 \(x\) 軸的直線相交於函式 \(f\left(x\right)\) 於點 \((x, \tilde{y})\)，相交於直線 \(L(x_{1}, x_{2})\) 於點 \((x, \bar{y})\), 則：

\[\tilde{y} \leqslant \bar{y} \]

構造弦 \(L\left(x_{k},\, x_{k+1}\right)\)

選取兩點形成弦 $ y = ax + b$，由命題 1 得到 \(\displaystyle f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b\)。接下來只需要讓 \(\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})\) 成立，Jensen 不等式就成立。假設選取的弦使得任意 \(x_{i}\) 都有 $ f\left(x_{i}\right) \geqslant a x_{i} + b$，就可以得到 $\displaystyle \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant \sum_{i=1}^{n} \lambda_{i}\left( a x_{i} + b \right) $。由於 \(\displaystyle \sum_{i=1}^{n}\lambda_{i} = 1\)，代入整理：

\[\begin{equation} \begin{aligned} & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant \sum_{i=1}^{n} \lambda_{i}\left( a x_{i} + b \right) \\ \implies & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant a \sum_{i=1}^{n} \lambda_{i}\ x_{i} + b \sum_{i=1}^{n} \lambda_{i} \\ \implies & \sum_{i=1}^{n} \lambda_{i} f\left(x_{i}\right) \geqslant a \sum_{i=1}^{n} \lambda_{i}\ x_{i} + b \\ \end{aligned} \end{equation} \]

因此選取兩點 \(x', x''\) 構造出來的弦 $ y = ax + b$，需要滿足以下兩個條件：

1. 選取的兩個點 \(x', x''\) 必須滿足 \(\displaystyle x' \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x''\)，才能讓 \(\displaystyle f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b\) 成立。
2. 弦 $ y = ax + b$ 必須使得任意 \(x_{i}\) 都有 $ f\left(x_{i}\right) \geqslant a x_{i} + b$，才能讓 \(\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i})\) 成立。

由於 \(\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{1},\, x_{n} \right]\)，所以一定存在 \(k(k \in \left[1,\,n\right] \bigcap \mathbb{N})\) 使得 $\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{k},, x_{k+1} \right] $。選取 \(\left( x_{k}, f\left(x_{k}\right) \right),\, \left( x_{k+1}, f\left(x_{k+1}\right) \right)\) 兩點連成的直線 \(L\left(x_{k},\, x_{k+1} \right)\) 作為弦，並設其解析式為 \(y = ax + b\)。\(\displaystyle \sum_{i=1}^{n} \lambda_{i} x_{i} \in \left[ x_{k},\, x_{k+1} \right]\)，即 $\displaystyle x_{k} \leqslant \sum_{i=1}^{n} \lambda_{i} x_{i} \leqslant x_{k+1} $，則它滿足條件 1。接下來只需要證明條件 2 成立，Jensen 不等式就成立。

證明 \(\forall x_{i}: f\left(x_{i}\right) \geqslant a x_{i} + b\)

當 \(i=k,k+1\) 時，由 \(L\left(x_{k},\, x_{k+1}\right)\) 的構造過程，得到 \(f\left(x_{k}\right) = ax_{k} + b, f\left(x_{k+1}\right) = ax_{k+1} + b\)，不等式顯然成立。

當 \(i \neq k, k + 1\) 時，觀察影像，\(\left(x_{i},\, f\left(x_{i}\right)\right)\) 顯然應當在直線 \(L(x_{k}, x_{k+1})\) 上方，即 \(f\left(x_{i}\right) \geqslant a x_{i} + b\)。但仍需進行證明。

回到命題 1，它表明了 \(\forall x \in \left[ x_{1}, x_{2} \right]\) 的情況是 \(\tilde{y} \leqslant \bar{y}\)。如果對其進行修改，證明 \(\forall x \in I \backslash \left[ x_{1}, x_{2} \right]\) 的情況是 \(\tilde{y} \geqslant \bar{y}\)，就可以將 \(x_{i} \left(i \neq k, k+1\right)\) 代入，得到 \(f\left(x_{i}\right) \geqslant a x_{i} + b\) 成立。

\(\textbf{命題2}\)：\(f\left(x\right)\) 為 \(I\) 上的下凸函式，\(\forall x_{1}, x_{2} \in I\)，\(\forall x \in I \backslash \left[ x_{1}, x_{2} \right]\)，過點 \(\left(x_{1},\, f\left(x_{1}\right)\right)\) 和點 \(\left(x_{2},\, f\left(x_{2}\right)\right)\) 作直線 \(L(x_{1},\, x_{2})\)，過點 \(\left(x , 0\right)\) 作垂直於 \(x\) 軸的直線相交於函式 \(f\left(x\right)\) 於點 \((x, \tilde{y})\)，相交於直線 \(L(x_{1}, x_{2})\) 於點 \((x, \bar{y})\), 則：

\[\tilde{y} \geqslant \bar{y} \]

接下來利用反證法證明命題 2 成立。任取 \(x_{3} \in I \backslash \left[ x_{1}, x_{2} \right]\)，不妨設 \(x_{3} \lt x_{1} \lt x_{2}\)。假設 $ \tilde{y} \lt \bar{y} $，即點 \(\left(x_{3}, f\left(x_{3}\right) \right)\) 在直線 \(L\left(x_{1},\, x_{2}\right)\)下方。作新的直線 \(L\left(x_{3},\, x_{2}\right)\)，則根據幾何關係，原來的點 \(\left(x_{1},\, f\left(x_{1}\right)\right)\) 現在位於直線 \(L\left(x_{3},\, x_{2}\right)\) 上方，即 \(f\left(x_{1}\right) \gt \bar{y}'\)。而根據命題 2，有 \(f\left(x_{1}\right) \leqslant \bar{y}'\)。二者矛盾，因此假設不成立，命題 2 成立。

將 \(x_{k},\, x_{k+1}\) 代入命題 2 中的 \(x_{1},\, x_{2}\)，將 \(x_{i} \left(i \neq k,\, k + 1\right)\) 代入 \(x\)，則可以得到 \(f\left(x_{i}\right) \geqslant a x_{i} + b\) 成立。

完成證明

經過以上證明，構造出來的弦 \(L\left(x_{k}, x_{k+1}\right)\) 滿足上述的兩個條件，則可以推出：

\[f\left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) \leqslant a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b \leqslant \sum_{i=1}^{n} \lambda_{i}f(x_{i}) \]

即 Jensen 不等式得證。

雖然這種證明方法在形式上比數學歸納法更加繁瑣複雜，但理解起來非常簡單，只需要構造 \(L\left(x_{k},\, x_{k+1}\right)\) 和藉助中間式 \(\displaystyle a \left( \sum_{i=1}^{n} \lambda_{i} x_{i} \right) + b\) 進行證明，剩下的只是細節的補充。