機器學習之超引數

機器學習之超引數

http://blog.sina.com.cn/s/blog_cfa68e330102ze63.html

 

學習器模型中一般有兩種引數：

 

• 一種引數是可以從學習中得到

• 一種無法靠資料裡面得到，只能靠人的經驗來設定，這類引數就叫做超引數

 

 

超引數定義

 

超引數是在開始學習過程之前設定值的引數。 相反，其他引數的值透過訓練得出。

 

• 定義關於模型的更高層次的概念，如複雜性或學習能力。

• 不能直接從標準模型培訓過程中的資料中學習，需要預先定義。

• 可以透過設定不同的值，訓練不同的模型和選擇更好的測試值來決定

 

 

超引數示例：

 

• 聚類中類的個數

• 話題模型中話題的數量

• 模型的學習速率

• 深層神經網路隱藏層數

• 迭代次數

• 每層神經元的個數

• 學習率 η

• 正則化引數

• 神經網路的層數

• 學習的回合數Epoch

• 小批次資料 minibatch 的大小

• 代價函式的選擇

• 權重初始化的方法

• 。。。

 

 

 

超引數調節方法

 

• 網格搜尋

• 隨機搜尋

• 貝葉斯最佳化

• 基於梯度的最佳化

• 遺傳演算法的實踐