深度學習是機器學習的一種方法。它一般指透過多個處理層來學習非線性函式。

什麼是生成分類器？

生成分類器使用Bayes規則將給定類c的特徵F的機率轉換為對給定類F的特徵c的預測。由分類器預測的類通常是產量最高的類P(c、F)。常用的生成分類器是Naive Bayes 分類器。它有兩層（一個用於特徵F和一個用於C類）。

基於生成分類器的深度學習

深度學習首先需要的是一個隱藏的層。因此，您可以在C層和F層之間再新增一層H以獲得Hierarchical Bayesian分類器（HBC）。

在HBC中，你有兩種方式計算P(c、F)：

第一個等式使用和（POS）的乘積來計算P（c | F）的值。第二個等式使用產品和（SOP）來計算P（c | F）的值。

PoS方程

作者發現了關於這兩個方程的一些非常有趣的東西。

事實證明，如果使用第一個方程。則HBC簡化為Naive Bayes分類器。這樣的HBC只能學習線性(或二次)的決策處理。

如圖1中所示的離散異函式。

可以看出，只一條直線是無法將黑點與白點分開。要想正確的區分它們只能透過非線性分類器。

如果您透過上圖中的資料訓練多項式Naive Bayes分類器，則會得到下圖。

請注意，虛線區域表示類別1，清除區域表示類別0。

可以看出，不管線的角度如何，四個中的至少一個點將被錯誤分類。例如圖中，{5,1}處的點錯誤歸類為0。（清除區域表示類別0）。

但是使用POS HBC，則會得到相同的結果。

SOP方程

透過研究。作者發現，如果使用第二個方程，會發生一些令人驚奇的事情。

有了“產品和”方程，HBC可以進行深度學習。

SOP +多項分佈

下圖顯示了由多項非線性HBC學習的決策處理。

整個圖由穿過原點的兩條直線組成。並將資料點分為兩個必需的類別。

由於{1,1}和{5,5}處的點落入表示分類0的清晰圓錐區域，而其他兩點落入代表分類1的虛線區域，所已四個點都被正確分類。

進而得出結論，多項非線性分層Bayes分類器可以學圖1的非線性函式。

高斯分佈

高斯非線性HBC學習的影像如下圖所示。

影像由分類後的資料點的兩條二次曲線組成。

所以說，高斯非線性HBC也可以學習圖1的非線性函式。

結論

由於SOP HBC是多層的（具有一層隱藏節點），並且可以學習非線性決策。因此可以說它們具有深度學習的能力。