超引數

xiaogao2017發表於2018-07-25

一、什麼是超引數？

普通引數都可以通過不斷的學習（模型訓練）而得到。

但是一般情況下，超引數是學習不來的。

它是提前定義好一系列值（一般在log範圍均勻分佈，如0.001 0.01 0.1 1 10 100 1000等），然後通過迭代學習，得到最好的超引數，這個過程我們稱為調參，其實就是優化求解的過程。

二、正則化項

λ權衡 模型複雜度和正則項。

正則化越弱，說明模型更加關注樣本點。但是這麼做也容易造成過擬合。

正則化強，容忍更多的錯誤。它更多的關心是防止過擬合（關心模型的複雜度，不關心每個樣本的錯誤）

相關文章