凸優化

凸優化

 

數值優化演算法面臨兩個方面的問題：區域性極值，鞍點。前者是梯度為0的點，也是極值點，但不是全域性極小值；後者連區域性極值都不是，在鞍點處Hessian矩陣不定，即既非正定，也非負定。

 

凸優化通過對目標函式，優化變數的可行域進行限定，可以保證不會遇到上面兩個問題。

 

凸優化是一類特殊的優化問題，它要求：

ü  優化變數的可行域是一個凸集

ü  目標函式是一個凸函式

 

凸優化最好的一個性質是：所有區域性最優解一定是全域性最優解。

 

機器學習中典型的凸優化問題有：

線性迴歸

嶺迴歸

LASSO迴歸

Logistic迴歸

支援向量機

Softamx迴歸

https://www.cnblogs.com/DicksonJYL/p/9510507.html

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2212451/，如需轉載，請註明出處，否則將追究法律責任。