Convex Set and Convex Function凸集與凸函式

Welcome To My Blog
Rockafeller說:"優化問題的分水嶺不是線性和非線性,而是凸性和非凸性"

兩點連線上的點

在介紹凸集和凸函式之前,先來看一個與之有關的基本問題:
如下圖,已知空間中有B,C兩點,在給定兩點座標的情況下如何量化B,C連線上的任意一點D?

很簡單,看下圖,設已知A,B,C,D的座標,
AD = AB + BD
= AB + kBC (D在BC上,所以k∈[0,1])
= AB + k(AC - AB)
= kAC + (1-k)AB
(以上均為向量運算)

所以,已知空間中有兩點X,Y,那麼線段XY上的任意一點可以表示為kX + (1-k)Y,其中k∈[0,1]

凸集

定義

若集合S⊆Rⁿ滿足
αx + (1 - α)y ∈ S, ∀x,y ∈ S, ∀α ∈ [0,1]
則稱S是Rⁿ中的凸集.
(當α沒有限制時,α為直線xy上的任意點,此時S是仿射集)

幾何解釋

從幾何的角度可以這麼理解,如果凸集S包含x,y兩點,那麼線段xy都在S中,如下圖
左邊的橢圓是凸集,右邊的四角星不是凸集

凸函式

定義

凸函式

設S⊆Rⁿ是凸集. 若函式f : Rⁿ → Rⁿ滿足
f[αx + (1-α)y] ≤ αf(x) + (1-α)f(y), ∀x,y ∈ S, ∀α ∈[0,1]
則稱f是S上的凸函式

嚴格凸函式

接凸函式,若不等式
f[αx + (1-α)y] ≤ αf(x) + (1-α)f(y), ∀x,y ∈ S, ∀α ∈[0,1]
對所有 x≠ y和 α∈(0,1)成立,則稱f是S上的嚴格凸函式

一致凸函式(強凸函式)

接凸函式,若存在常熟 m>0, 使不等式
f[αx + (1-α)y] ≤ αf(x) + (1-α)f(y) - mα(1-α)||x-y||² 對所有x,y∈S以及所有α∈[0,1]成立,則稱f是S上的一致凸函式(強凸函式)

幾何解釋

1. 任意一點的切線都在影象下方(影象像個碗)
2. 任意兩點確定的弦在其影象上方
   其實,橫座標為αx + (1-α)y時,對應弦AB上點的縱座標就是αf(x) + (1-α)f(y)
   
   

   3.jpg

Welcome To My Blog