運籌優化（十一）--無約束非線性規劃

這個系列將非線性規劃是以“不是什麼“定義的，也就是說，之前的線性規劃模型使用連續決策變數，線性約束和線性目標函式，而非線性規劃涵蓋了所有其他單目標，連續決策變數的規劃模型。意味著，非線性規劃有許多不同的形式和演算法。其中，有的有模型約束，有的則只有目標函式。在許多模型中，微積分能夠得到可以利用的導數，有的則可能根本不存在導數。

無約束的非線性規劃

在無約束優化中，線性規劃的目標函式無界，而非線性規劃可能存在有界的最優解。

最常見的無約束非線性規劃問題，有曲線擬合或迴歸問題。你需要擬合出一條曲線模型儘可能的減少目標誤差。另外比較常見的應用是，估計概率分佈，你需要刻畫資料的分佈函式。當然，你可以基於改進搜尋的思路，不斷迭代尋找靠近（減小或者增大）目標值，從而找到最優解，也可以利用導數資訊（如果存在的話），尋找最優解。導數資訊，我們可以利用一階導（如SGD），也可以利用二階導（如海森矩陣）。這方面的資料很多，基本上深度學習的訓練，就是從一階導（梯度）資訊的維度出發，從搜尋策略（各種優化演算法改進，手動/自適應）角度提升尋優效果。另外，還有像牛頓法，擬牛頓法這種基於二階導數資訊的搜尋最優化演算法。注意：實際上這一部分，在機器學習、深度學習理論領域，用的很多，這裡不提是因為之前有整理過這塊的內容。