從貝葉斯的角度來看，正則化等價於對模型引數引入 先驗分佈
正則化引數等價於對引數引入 先驗分佈，使得 模型複雜度 變小（縮小解空間），對於噪聲以及 outliers 的魯棒性增強（泛化能力）。整個最優化問題從貝葉斯觀點來看是一種貝葉斯最大後驗估計，其中 正則化項 對應後驗估計中的 先驗資訊，損失函式對應後驗估計中的似然函式，兩者的乘積即對應貝葉斯最大後驗估計的形式。
lr太大有時候就是這樣的。可以想象一下你在下坡，接近坡底部的時候步子邁太大邁到另外一頭了
作者：Charles Xiao
連結：https://www.zhihu.com/question/23536142/answer/90135994
來源：知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。
相關文章
- ML-樸素貝葉斯-先驗分佈/後驗分佈/似然估計
- 樸素貝葉斯模型模型
- 先驗概率與後驗概率、貝葉斯區別與聯絡
- 樸素貝葉斯分類
- 上升到人生法則的貝葉斯理論
- 【BSM模型】股票價格對數正態分佈的性質，lnE(ST)和E(lnST)的關係模型
- 從卷積拆分和分組的角度看CNN模型的演化卷積CNN模型
- 樸素貝葉斯和半樸素貝葉斯（AODE）分類器Python實現Python
- 樸素貝葉斯/SVM文字分類文字分類
- 變分貝葉斯自編碼器
- 04貝葉斯演算法-貝葉斯網路演算法
- 貝葉斯超參優化方法優化
- 正則特殊引數
- Sklearn中的樸素貝葉斯分類器`
- 貝葉斯定理
- 貝葉斯公式公式
- 第7章 基於樸素貝葉斯的垃圾郵件分類
- 變分自編碼器（二）：從貝葉斯觀點出發
- SOLIDWORKS建立引數化模型基本原則Solid模型
- 分類演算法-樸素貝葉斯演算法
- 樸素貝葉斯實現文件分類
- 使用貝葉斯進行新聞分類
- 7、超引數除錯、Batch正則化除錯BAT
- [譯] Sklearn 中的樸素貝葉斯分類器
- 貝葉斯分類器詳解 從零開始 從理論到實踐
- 【python介面自動化】- 正則用例引數化Python
- 貝葉斯變換
- 從線性迴歸來理解正則化
- 從語言學角度看詞嵌入模型模型
- 樸素貝葉斯分類流程圖介紹流程圖
- 貝葉斯全域性優化（LightGBM調參）優化
- 從另一個角度看拉普拉斯變換
- 價值密度優先貪心策略對分數揹包問題的正確性證明
- 樸素貝葉斯--新浪新聞分類例項
- 機器學習之樸素貝葉斯分類機器學習
- HanLP-樸素貝葉斯分類預測缺陷HanLP
- 貝葉斯公式的通俗講解公式
- 簡單易懂的樸素貝葉斯分類演算法演算法