深度信念網路曾照亮了深度學習的前進之路，今天，Hinton 透過遠端影片演講，再一次為我們展現了DBN的思想與理論之美。

2006年，研究者對深度神經網路的興趣再度復興，而這主要歸功於Hinton等人發現的高效新方法。藉助深度信念網路（Deep Belief Nets, DBN），當時研究者可以在未標註資料上預訓練深度神經網路，這是一種生成模型的方式。預訓練完成後，神經網路可以在標註資料上實現判別式的精調，從而獲得很好的效果。

這就是最初深度網路的訓練方法，也是令深度學習進入ML社群的開創性新研究。儘管目前訓練深度神經網路不再需要這種預訓練，但它的思想及做法仍深深影響著當前的研究者。

剛剛，Geoffrey Hinton受邀遠端為北大學子做了一場分享，深入介紹了深度信念網路的理論知識。

在這一次演講中，Hinton展示了深度信念網路的預訓練過程，並介紹了它如何從玻爾茲曼機的早期訓練過程中演化出來。Hinton表示，DBN在理論上是非常優美的，但卻過於低效而無法應用於實踐。此外，對於訓練密集連線型信念網路，Hinton還將介紹預訓練過程如何克服主要的實踐問題。

應講者要求，此次演講沒有回放，也不會公開錄影，所以小編只記錄了演講PPT給讀者們（也因為沒聽懂），感興趣的讀者可作為學習材料使用。

什麼是深度信念網路

深度信念網路是第一批成功應用深度架構訓練的非卷積模型之一。在引入深度信念網路之前，研究社群通常認為深度模型太難最佳化，還不如使用易於最佳化的淺層ML模型。2016年，Hinton等研究者在Science上表示，深度信念網路在MNIST資料集上表現超過帶核函式的支援向量機，以此證明深度架構是能夠成功的。

論文1：Reducing the Dimensionality of Data with Neural Networks

論文地址：

論文2：A fast learning algorithm for deep belief nets

論文地址：~hinton/absps/fastnc.pdf

儘管現在與其他無監督或生成學習演算法相比，深度信念網路大多已經失去了研究者青睞並很少使用，但它們在深度學習歷史中仍然有非常重要的作用。

此外，如果需要理解DBN，那麼首先需要知道什麼是受限玻爾茲曼機（RBM）。因為深度信念網路就是受限玻爾茲曼機的堆疊，並採用一種貪心的方式訓練。

受限玻爾茲曼機

RBM是兩層神經網路，這些淺層神經網路是DBN（深度信念網路）的構建塊。RBM的第一層被稱為可見層或者輸入層，它的第二層叫做隱藏層。RBM之所以加上“受限”，主要是因為不存在層級間的通訊。RBM在前傳的過程中看上去和全連線沒什麼區別，但實際上它是一種無向圖，所以還有一個反向過程。

除了前傳，RBM以一種無監督的方式透過自身來重建資料。如上圖所示，在重建階段，第一個隱藏層的啟用狀態變成了反向傳遞過程中的輸入。它們與每個連線邊相同的權重相乘，就像x在前向傳遞的過程中隨著權重調節一樣。這些乘積的和在每個可見節點處又與可見層的偏置項相加，這些運算的輸出就是一次重建，也就是對原始輸入的一個逼近。

如果能重建出來對應的觀察樣本，那麼就表示RBM獲得的隱藏表徵非常優質。如下選自Deep Learning書中描述了三種早期的神經網路。