數值最優化—優化問題的解(二)

一、定理

區域性最小值點一階必要條件： $\nabla f(x^{\ast })=0$
區域性最小值點二階必要條件： $\nabla f(x^{\ast })=0且{\nabla }^{2}f(x^{\ast })$ 正定。
區域性最小值點二階充分條件： ${\nabla }^{2}f(x)$ 在$x^{\ast }$的開鄰域內連續，$\nabla f(x^{\ast })=0$並且 ${\nabla }^{2}f(x^{\ast })$ 正定，那麼$x^{\ast }$是 $f(x)$ 的嚴格區域性最小值點。

二、證明

Proof 1
反證法
假設當 $x^{\ast }$ 為區域性最小值時$\nabla f(x^{\ast })\ne 0$ ，那麼定義 $p=-\nabla f(x^{\ast })$ 。這樣我們可以得到：
$p^T\nabla f(x^{\ast })=-\nabla f(x^{\ast }{)}^T\nabla f(x^{\ast })=-\Vert \nabla f(x^{\ast })\Vert <0$ （1）
根據函式的連續性，必然可以得到，存在一個足夠小的正數 $T$ ，使得：
$p^T\nabla f(x^{\ast }+tp)<0$ for all $t\in [0,T]$ （2）
考慮 \overline{t} \in(0,T] ，並對 f(x)$ 在 $x^{\ast }$ 點處做泰勒展開，我們可以得到：
$f(x^{\ast }+\overline{t}p)=f(x^{\ast })+\overline{t}{p}^T\nabla f(x^{\ast }+tp)forsomet\in (0,\overline{t})$ （3）
觀察公式(3)的第二項， $\overline{t}$ 是一個正實數，根據公式(2)我們又可以知道 $p^T\nabla f(x^{\ast }+tp)$ 是一個負數。那麼我們可以我們一定可以找到一個正數 $\beta$ ，使得：
$f(x^{\ast }+\overline{t}p)=f(x^{\ast })-\beta$
也就是：
$f(x^{\ast }+\overline{t}p)<f(x^{\ast })$
那麼 x^* 不是區域性最小值點，與假設相反，原結論成立。
Q.E.D
Proof 2：
由Proof 1我們已經證明了前半部分，現在證明後半部分，也就是 ${\nabla }^{2}f(x^{\ast })$ 正定。
反證法
假設 ${\nabla }^{2}f(x^{\ast })$ 不是正定的，那麼肯定可以找到一個向量 $p$ 使得 $p^T{\nabla }^{2}f(x^{\ast })p<0$ 。同樣由連續性，可以得到，存在一個正數 $T$ 使得：
$p^T{\nabla }^{2}f(x^{\ast }+tp)p<0$ for all $t\in [0,T]$
考慮 $\overline{t}\in (0,T]$ ，並對 $f(x)$ 在 $x^{\ast }$ 點處做二階泰勒展開，我們可以得到：
$f(x^{\ast }+\overline{t}p)=f(x^{\ast })+\overline{t}{p}^T\nabla f(x^{\ast }+tp)+\frac{1}{2}{\overline{t}}^2{p}^T{\nabla }^{2}f(x^{\ast }+tp)p<f(x^{\ast })$
同理我們可以得到假設錯誤，原結論成立。
Q.E.D
Proof 3
由於 ${\nabla }^{2}f(x)$ 的連續性，我們可以知道，在 $x^{\ast }$ 的一個足夠小的鄰域內， ${\nabla }^{2}f(x)$ 可以保持正定性。假設這個鄰域的半徑為 $r$ ，那麼這個鄰域內所有點的集合 為 D = { z ∣ ∥ z − x ∗ ∥ < r } \mathcal{D} =\{z| \|z-x^*\|<r\} D={z∣∥z−x∗∥<r} 。我們假設 $p$ 為任意滿足 $\Vert p\Vert <r$ 的向量。那麼我們可以得到 $x^{\ast }+p\in \mathcal{D}$ 。
（這裡做一點簡要的解釋，在 $x^{\ast }$ 附近滿足正定性條件的點不一定都在集合 $\mathcal{D}$ 裡面，之所以引入集合 $\mathcal{D}$ 的概念主要是為了簡化描述。對於單一變數而言，$\mathcal{D}$是一個以$x^{\ast }$為中點的線段，這個線段中任何一點都能使二階導正定。這個線段可能不是最長的線段，但是他必須是以$x^{\ast }$為中點的，二維的話就是以 $x^{\ast }$ 為圓心的圓，三維就是以 $x^{\ast }$ 為球心的球。）
同樣我們做泰勒展開：
$$\begin{gathered} f(x^{\ast }+p)=f(x^{\ast })+p^T\nabla f(x^{\ast })+\frac{1}{2}{p}^T{\nabla }^{2}f(z)p \\ =f(x^{\ast })+\frac{1}{2}{p}^{T}f(z)p \end{gathered}$$
這裡需要解釋的有兩點。1、第二個等式是因為在 $x^{\ast }$ 處 $\nabla f(x^{\ast })=0$ 。2、根據泰勒定理，這裡的 $z=x^{\ast }+tp$ for some $t\in (0,1)$ 。對於最後一個等式的最後一項，根據正定的定義我們可以知道 $p^{T}f(z)p$ 是一個正數。
我們可以得到：
$f(x^{\ast }+p)>f(x^{\ast })$
由於 $x^{\ast }+p$ 可以認為是一個在超平面上以 $x^{\ast }$ 為球心的開球域。這也就是說，在 $x^{\ast }$ 附近所有的函式值都比 $x^{\ast }$ 點處的大。
Q.E.D