百頁課程筆記,統計物理視角下的深度學習

weixin_34208185發表於2019-01-24

機器之心報導,參與:賈偉、思源。

牆內開花牆外香,深度神經網路不僅給計算機學科帶來了巨大的變革,也同時在其他學科中引起巨大的反響,數學、物理、生物、天文等領域的師生紛紛開啟了自學機器學習之路,有先見知名的院校則已經開始為他們的師生開設相關課程,機器學習在不久的將來甚至有可能會被列入各高校理工專業的必修學科之列。

近日,哥德堡大學物理系 Bernhard Mehlig 教授在 arXiv 上釋出了他的一本「新書」《Artifical Neural Networks》。這本書正是他根據在哥德堡大學物理系 2018 秋季學期教學(FFR315)過程中的筆記整理而成。在這門課程中,他結合物理學(特別是統計物理學)的知識詳細講述了機器學習中神經網路在物理學中的各種應用,包括深度學習、卷積網路、強化學習,以及其他各種有監督和無監督機器學習演算法。

書很薄,只有 157 頁,但相比目前市面上機器學習相關的書卻極具特色。第一,他講了許多當前流行書籍中很少涉及的內容,例如 Hopfield 網路;其次,書的內容主要是面向物理(特別是統計物理)的,可以說這是一本為物理學領域的師生所寫的一本機器學習參考書。

從 Hopfield 網路說起

總體而言,這本 157 頁的書從 Hopfield 網路Hopfield 網路、監督學習和無監督學習三個主題介紹人工神經網路。其中監督學習介紹了我們熟悉的深度學習,無監督學習介紹了徑向基函式網路和強化學習。而第一部分的 Hopfield 網路重點介紹了我們並不熟悉的確定性和隨機性 Hopfield 網路,以及「賊複雜」的隨機優化,可能對物理學來說這些恰好是簡單的東西吧~

每一部分包含多個章節,且每一個章節都帶有練習題和自測題,它們是檢驗章節掌握度的最好方法。此外從內容上而言,Hopfield 網路是比較有特點的部分,因為像花書《Deep Learning》等流行的教材並不會單獨介紹這一內容。可能我們對它的理解還是根據 Hinton 2012 的神課而獲得,即 Neural Networks for Machine Learning。所以如果想要了解早期人工神經網路的研究與發展,那麼看這一部分就對了。

Hopfield 網路是一種可以識別或重構影象的人工神經網路,它通過某種方法(Hebb 規則)分配權重,並將影象儲存在人工神經網路中。這是一種非常經典的想法,它構成了玻爾茲曼機和深度信念網路等方法的基礎,但目前深度神經網路能代替它完成模式識別任務。

作者表示課程將 Hopfield 網路作為第一部分主要有三個原因,首先很多後續的深度神經網路都基於相同的構建塊,以及與 Hebb 規則相近的學習方法。其次 Hopfield 網路可以很好地解決最優化問題,且最終演算法與馬爾可夫鏈蒙特卡洛方法密切相關,這在物理及統計學上非常重要。最後,Hopfield 網路與物理的隨機系統密切相關,可能這也是最重要的吧。

後面兩部分就是我們比較熟悉的有監督與無監督學習了,它們從感知機開始逐步向全連線網路、卷積網路和迴圈網路過渡,這也是大多數課程與書籍的學習路徑。

非物理,慎入

正如前面提到,這是一本物理學(統計物理)與機器學習的結合。雖然書的重點是機器學習,但落腳點仍然是物理。一方面,在其行文落筆之間充斥著不少物理學中的語言,例如這樣:

這些對學過量子力學的讀者來說沒有任何障礙,但對於非物理專業的讀者卻可能是不小的門檻。

如下展示了整本書的目錄:


相關文章