理論優美的深度信念網路，Hinton老爺子北大最新演講

https://www.toutiao.com/a6690758262603645453/

深度信念網路曾照亮了深度學習的前進之路，今天，Hinton 通過遠端視訊演講，再一次為我們展現了DBN的思想與理論之美。

2006年，研究者對深度神經網路的興趣再度復興，而這主要歸功於Hinton等人發現的高效新方法。藉助深度信念網路（Deep Belief Nets, DBN），當時研究者可以在未標註資料上預訓練深度神經網路，這是一種生成模型的方式。預訓練完成後，神經網路可以在標註資料上實現判別式的精調，從而獲得很好的效果。

這就是最初深度網路的訓練方法，也是令深度學習進入ML社群的開創性新研究。儘管目前訓練深度神經網路不再需要這種預訓練，但它的思想及做法仍深深影響著當前的研究者。

剛剛，Geoffrey Hinton受邀遠端為北大學子做了一場分享，深入介紹了深度信念網路的理論知識。

在這一次演講中，Hinton展示了深度信念網路的預訓練過程，並介紹了它如何從玻爾茲曼機的早期訓練過程中演化出來。Hinton表示，DBN在理論上是非常優美的，但卻過於低效而無法應用於實踐。此外，對於訓練密集連線型信念網路，Hinton還將介紹預訓練過程如何克服主要的實踐問題。

應講者要求，此次演講沒有回放，也不會公開錄影，所以小編只記錄了演講PPT給讀者們（也因為沒聽懂），感興趣的讀者可作為學習材料使用。

什麼是深度信念網路

深度信念網路是第一批成功應用深度架構訓練的非卷積模型之一。 在引入深度信念網路之前，研究社群通常認為深度模型太難優化，還不如使用易於優化的淺層ML模型。2016年，Hinton等研究者在Science上表示，深度信念網路在MNIST資料集上表現超過帶核函式的支援向量機，以此證明深度架構是能夠成功的。

論文1：Reducing the Dimensionality of Data with Neural Networks

論文地址：https://science.sciencemag.org/content/313/5786/504

論文2：A fast learning algorithm for deep belief nets

論文地址：https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf

儘管現在與其他無監督或生成學習演算法相比，深度信念網路大多已經失去了研究者青睞並很少使用，但它們在深度學習歷史中仍然有非常重要的作用。

此外，如果需要理解DBN，那麼首先需要知道什麼是受限玻爾茲曼機（RBM）。因為深度信念網路就是受限玻爾茲曼機的堆疊，並採用一種貪心的方式訓練。

受限玻爾茲曼機

RBM是兩層神經網路，這些淺層神經網路是DBN（深度信念網路）的構建塊。RBM的第一層被稱為可見層或者輸入層，它的第二層叫做隱藏層。RBM之所以加上“受限”，主要是因為不存在層級間的通訊。RBM在前傳的過程中看上去和全連線沒什麼區別，但實際上它是一種無向圖，所以還有一個反向過程。

除了前傳，RBM以一種無監督的方式通過自身來重建資料。如上圖所示，在重建階段，第一個隱藏層的啟用狀態變成了反向傳遞過程中的輸入。它們與每個連線邊相同的權重相乘，就像x在前向傳遞的過程中隨著權重調節一樣。這些乘積的和在每個可見節點處又與可見層的偏置項相加，這些運算的輸出就是一次重建，也就是對原始輸入的一個逼近。

如果能重建出來對應的觀察樣本，那麼就表示RBM獲得的隱藏表徵非常優質。如下選自Deep Learning書中描述了三種早期的神經網路。

a) 受限玻爾茲曼機，b) 深度信念網路，c) 深度玻爾茲曼機。其中帶箭頭表示有向圖，無箭頭表示無向圖。

深度信念網路

深度信念網路是一種深層的概率有向圖模型，其圖結構由多層的節點構成。網路的最底層為可觀測變數，其它層節點都為隱變數。最頂部的連線是無向的，其他層之間的連線是有向的。它的目的主要在獲取可觀測變數下，推斷未知變數的狀態，並調整隱藏狀態以儘可能重構出可觀測資料。

在Hinton一個多小時的演講中，它從信念網路到受限玻爾茲曼機，從基本思想到理論解析展示了整個深度信念網路的全景圖。不過Hinton老爺子的演講還挺難懂的，想要了解的同學可以看看完整的PPT。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2644441/，如需轉載，請註明出處，否則將追究法律責任。