caffe study(4) - 優化演算法基本原理

【原文：http://blog.sina.com.cn/s/blog_eb3aea990102v41r.html】

機器學習就兩個問題，一個是model的定義，一個就是如何優化，model是戰略，優化則是執行。

在Caffe現在的版本中，主要使用了三種優化演算法SGD、AdaGrad、以及NAG，這三種演算法快速、高效，缺點就是極容易收斂到區域性極值點或者不容易收斂。

a. 就個人理解來說，對於大資料的處理，演算法的高效率要稍微優於精度。對於大規模的非線性優化來說，通過不斷的調參可以有效的降低區域性收斂或者不收斂的狀況，從某種意義上說機器學習的本質就是調的一手好參：），是經驗活也是體力活。
b. 至於哪種演算法好，可能要針對問題做選擇。在幾個月前，餘凱老師在出門問問組織的一次學術活動中提到，目前工業界最為常用的演算法就是mini-batch SGD，價效比最高，其他的一些演算法更多的是學術上的目的。

1. 關於stochastic approximation

一般性的優化目標函式都由兩部分組成，一個是loss term，一個是regularisation term，如下所示，前者就是根據model的形式定義的energy function，後者則對於引數的解空間進行了限制。