目錄

 

偏差與方差

導致偏差和方差的原因

深度學習中的偏差與方差

生成模型與判別模型

兩者之間的聯絡

優缺點

常見模型

先驗概率與後驗概率

---

偏差與方差

---

• 偏差與方差分別是用於衡量一個模型泛化誤差的兩個方面：
  • 模型的偏差，指的是模型預測的期望值與真實值之間的差；
  • 模型的方差，指的是模型預測的期望值與預測值之間的差平方
• 在監督學習中，模型的泛化誤差可分解為偏差、方差與噪聲之和
• 偏差用於描述模型的擬合能力
• 方差用於描述模型的穩定性

導致偏差和方差的原因

• 偏差通常由於我們對學習演算法做了錯誤的假設，或者模型的複雜度不夠；
  • 比如真是模型是一個二次函式，而我們假設模型為一個一次函式，這就會導致偏差的增大（欠擬合）；
  • 由偏差引起的誤差通常在訓練誤差上能體現，或者說訓練誤差主要由偏差造成
• 方差通常是由於模型的複雜度相對於訓練集過高導致的
  • 比如真實模型是一個簡單的二次函式，而我們假設模型是一個高次函式，這就會導致方差的增大（過擬合）；
  • 由方差引起的誤差通常體現在測試誤差相對訓練誤差的增量上。

深度學習中的偏差與方差

• 神經網路的擬合能力非常強，因此他的訓練誤差（偏差）通常較小
• 但是過強的擬合能力會導致較大的方差，使模型的測試誤差（泛化誤差）增大；
• 因此深度學習的核心工作之一就是研究如何降低模型的泛化誤差，這類方法統稱為正則化方法

生成模型與判別模型

---

• 監督學習的任務是學習一個模型，對給定的輸入預測相應的輸出
• 這個模型的一般形式為一個決策函式或一個條件概率分佈（後驗概率）
  • Y=f(X)  or  P(Y|X)
  • 決策函式：輸入X返回Y；其中Y與一個閾值比較，然後根據比較結果判定X的類別
  • 條件概率分佈：輸入X返回X屬於每個類別的概率；將其中概率最大的作為X所屬的類別
• 監督學習模型可分為生成模型與判別模型
  • 判別模型直接學習決策函式或者條件概率分佈
    • 直觀來說，判別模型學習的是類別之間的最優分隔面，反映的是不同類資料之間的差異
  • 生成模型學習的是聯合概率分佈P(X,Y)，然後根據條件概率公式計算P(Y|X)
    • 

​​​​​​​兩者之間的聯絡

• 由生成模型可以得到判別模型，但是由判別模型得不到生成模型
• 當存在“隱變數”時，只能使用生成模型

隱變數：當我們找不到引起某一現象的原因時，就把這個在起作用，但無法確定的因素，叫做“隱變數”

優缺點

• 判別模式
  • 優點
    • 直接面對預測，往往學習的準確率更高
    • 由於直接學習P(Y|X) 或 f(X)，可以對資料進行各種程度的抽象，定義特徵並使用特徵，以簡化學習過程
  • 缺點
    • 不能反映訓練資料本身的特性
• 生成模型
  • 優點
    • 可以還原聯合概率分佈P(X,Y)，判別方法不能
    • 學習收斂速度更快——即當樣本容量增加時，學到的模型可以更快地收斂到真實模型
    • 當存在“隱變數”時，只能使用生成模型
  • 缺點
    • 學習和計算過程比較複雜

常見模型

• 判別模型
  • K近鄰、感知機（神經網路）、決策樹、羅輯迴歸、最大熵模型、SVM、提升方法、條件隨機場
• 生成模型
  • 樸素貝葉斯、隱馬爾可夫模型、混合高斯模型、貝葉斯網路、馬爾可夫隨機場

先驗概率與後驗概率

---

條件概率（似然概率）

• 一個事件發生後另一個事件發生的概率
• 一般的形式為P(X|Y)，表示y發生的條件下x發生的概率
• 有時為了區分一般意義上的條件概率，也稱為似然概率

先驗概率

• 事情發生前預判概率
• 可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出
• 一般都是單獨發生的概率，如P(A)、P(B)

​​​​​​​後驗概率

• 基於先驗概率求得的反向條件概率，形式上與條件概率相同（若P(X|Y)為正向，則P(Y|X)為反向）

貝葉斯公式