從貝葉斯的角度來看，正則化等價於對模型引數引入 先驗分佈
正則化引數等價於對引數引入 先驗分佈，使得 模型複雜度 變小（縮小解空間），對於噪聲以及 outliers 的魯棒性增強（泛化能力）。整個最優化問題從貝葉斯觀點來看是一種貝葉斯最大後驗估計，其中 正則化項 對應後驗估計中的 先驗資訊，損失函式對應後驗估計中的似然函式，兩者的乘積即對應貝葉斯最大後驗估計的形式。
lr太大有時候就是這樣的。可以想象一下你在下坡，接近坡底部的時候步子邁太大邁到另外一頭了
作者：Charles Xiao
連結：https://www.zhihu.com/question/23536142/answer/90135994
來源：知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。
相關文章
- 從貝葉斯定理到概率分佈概率分佈
- 貝葉斯思想概述：從貝葉斯定理到貝葉斯網路
- 概率圖模型基礎 - 貝葉斯網路引數學習（貝葉斯估計+碎權更新法）模型
- 從貝葉斯方法談到貝葉斯網路
- 樸素貝葉斯模型模型
- 擬合目標函式後驗分佈的調參利器：貝葉斯優化函式優化
- 從貝葉斯定理到概率分佈：綜述概率論基本定義概率分佈
- 貝葉斯分類器與貝葉斯網路之間的關係
- 先驗概率與後驗概率、貝葉斯區別與聯絡
- 從排列的角度看超幾何分佈
- 04貝葉斯演算法-貝葉斯網路演算法
- 貝葉斯公式公式
- 貝葉斯超參優化方法優化
- 機器學習之樸素貝葉斯分類機器學習
- 樸素貝葉斯/SVM文字分類文字分類
- 樸素貝葉斯和半樸素貝葉斯（AODE）分類器Python實現Python
- 機器學習_統計模型之（一）貝葉斯公式機器學習模型公式
- 機器學習之用Python從零實現貝葉斯分類器機器學習Python
- 樸素貝葉斯分類器的應用
- 分類演算法-樸素貝葉斯演算法
- 樸素貝葉斯實現文件分類
- 機器學習筆記(七)貝葉斯分類器機器學習筆記
- Spark MLlib NaiveBayes 貝葉斯分類器SparkAI
- chapter6:概率及樸素貝葉斯－－樸素貝葉斯APT
- 機器學習_統計模型之（二）貝葉斯網路機器學習模型
- 用 Python 進行貝葉斯模型建模（4）Python模型
- 變分自編碼器（二）：從貝葉斯觀點出發
- 第7章 基於樸素貝葉斯的垃圾郵件分類
- [譯] Sklearn 中的樸素貝葉斯分類器
- 【機器學習】--貝葉斯網路機器學習
- 機器學習讀書筆記：貝葉斯分類器機器學習筆記
- 機器學習之貝葉斯分類(python實現)機器學習Python
- 樸素貝葉斯分類流程圖介紹流程圖
- 貝葉斯分類器詳解 從零開始 從理論到實踐
- 一個計算我的妻子是否懷孕的貝葉斯模型模型
- 機器學習|樸素貝葉斯演算法（二）-用sklearn實踐貝葉斯機器學習演算法
- 基於樸素貝葉斯的定位演算法演算法
- 貝葉斯學習與未來人工智慧人工智慧