貝葉斯超參優化方法

數學是個奇妙的東西，可以把生活中的一切量化。人生也是個奇妙的東西，起起伏伏，好比一個高斯分佈函式。今天就結合一些人生的感悟聊聊貝葉斯超參優化

一些些背景

很多演算法工程師戲謔自己是調參工程師，因為他們需要在繁雜的演算法引數中找到最優的組合，往往在調參的過程中痛苦而漫長的度過一天。如果有一種方式可以幫助工程師找到最優的引數組合，那一定大有裨益，貝葉斯超參優化就是其中的一種。如果是單單羅列公式，可能會顯得乏味，就用一些思考帶上公式為大家分享。

高斯過程

首先要知道什麼是高斯過程，高斯過程也是正態分佈，我們可以理解為一般世界的很多隨機事件都是遵循這樣的一個原則。比如買了1000次彩票，中獎的概率是多少，這就是一個典型的隨機過程。比如在20樓向下扔皮球，砸中美女的概率也是一個隨機過程。

在貝葉斯調參過程中，假設引數組合是X，最終的評估結果為Y，通過什麼樣的X可以取得最優的Y，這個函式F(X)我們是不知道的，

Y=F(X)

於是可以假設這個尋找最優化引數的過程是一個高斯過程。高斯過程有個特點，就是當隨機遍歷一定的資料點並拿到結果之後，可以大致繪製出整個資料的分佈曲線。

上圖是一個高斯過程的圖，就像人生的曲線，起起伏伏，命運造化弄人，需要不斷地嘗試才能知道最終的結果。所以如果要找到完整的人生的曲線，需要不停地在每一個單點嘗試，直到真個曲線清晰。就知道做什麼樣的事情，可以到達高谷，好比在超參優化中就是什麼樣的引數可以得到好的結果。

貝葉斯優化的重要基礎理論就是不斷通過先驗點去預測後驗知識。

貝葉斯優化理論

還是這張圖，把橫軸看作是引數組合X，縱軸看作是這個引數的結果Y。可以通過已經構建的曲線，找到曲線上升的方向，從而在這個方向上繼續探索，這樣就可以大概率拿到更好的結果。在生活的軌跡上，如果找到一條明確通往幸福的路，可以繼續向前探索，因為大概率可以成功，但也許也有會錯過更好的機會，陷入區域性最優解。請看上圖中的五角星，如果我們處於它的位置，繼續向上走會迎來一個高峰，但是如果後退，在下降一段時間之後可能會迎來更高的波峰，你該如何選擇。

於是，在引數的探索中要掌握一個平衡：

• 開發：在明確的曲線上揚方向繼續走，大概率獲得更好的結果，但是容易陷入區域性最優。

• 探索：除了在曲線上揚的方向，在其它的區域也不忘尋找

總結一下，貝葉斯超參優化跟生活很像，面對順境選擇繼續向前，還是勇敢的跳出現狀尋找更大的突破，這需要一個策略，在調參中這個策略可以自己定義一些方法去實現。把引數組合對結果的影響看作是一個高斯過程，把開發和探索的策略作為一個自定義函式去權衡，這就是貝葉斯超參帶給我們的啟迪。