先天認知與深度學習

“天賦論學說認為，人類思維是與生俱來的思想或知識。在這種理念中，最著名的是柏拉圖的形式理論，以及後來的笛卡爾的《沉思錄》。目前，這一觀點正在獲取神經科學方面的證據，以證實我們確實生來就對我們的世界有先天的認識”。

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael

然而，“天賦論”學說與“純粹主義”機器學習方法是相沖突的。在這種“純粹的”機器學習演算法中，演算法僅從資料中學習，而無需進行顯式程式設計或配備預程式設計的計算和邏輯模組。

“思想的實際內容是非常深奧、無比複雜的；我們不應該試圖尋找一些簡單的方法來思考思想的實際內容，比如用簡單的方法來思考空間、物體、多主體或對稱性等內容。所有這些都是任意的、內在複雜的外部世界的一部分。它們不是應該被內建的，因為它們的複雜性是無止境的；相反，我們應該只構建那些能夠發現和捕獲這種任意複雜性的元方法。”

——The Bitter Lesson
Rich Sutton
March 13, 2019

但是，有一種持截然相反觀念的思想流派，建議將符號主義人工智慧技術與深度學習相結合。

深度學習的未來

紐約大學教授Gary Marcus等人提倡的一種觀點認為，深度學習需要與更古老的、象徵主義的人工智慧技術相結合，以達到人類的智慧水平。但是，Hinton並不這麼認為。Hinton將此比作使用電動馬達卻僅僅用來驅動汽油發動機的噴油器，儘管電力更節能。

與此同時，混合模型可能能夠會解決深度學習明顯的侷限性，特別是關於“深度學習目前缺乏一個明確的定義來學習抽象概念的機制，當有成千上萬、數百萬甚至數十億的訓練例項時，這種方法效果是最好”。

你是否認為我們最好把GOFAI融入深度學習呢？爭論仍在激烈進行。

新的神經學證據

在我看來，其實這些討論最終都歸結為一個問題——我們人類是透過經驗來學習一切，還是生來就具有某種形式的先天認知?

在《美國國家科學院院刊》（PNAS）上發表的一項研究表示：

“研究發現了一種突觸組織原理，它以一種動物間普遍存在的方式將神經元分組，從而獨立於個體經驗”

——A synaptic organizing principle for cortical neuronal groups
By Rodrigo Perin, Thomas K. Berger, and Henry Markram

這樣的叢集包含物理世界某些簡單工作的內容。

“在動物的新皮層中同時出現的神經元群，或稱細胞集合體，本質上是細胞的‘積木’。對許多動物來說，學習、感知和記憶可能是將這些碎片拼湊在一起的結果，而不是形成新的細胞組合。”

——Are We Born With Knowledge?
in Uncategorized

分界線

隨著越來越多的神經學證據支援先天認知的存在，用“先天”的計算模組或原語來裝備深度學習可能是有意義的。同時，其中的一些原語很有可能將基於那些從GOFAI借鑑或啟發的思想。

另一方面，我們很難預測未來的深度學習架構會是什麼樣子。Yoshua Bengio本人也承認，“在神經網路能夠達到人類大腦所擁有的一般智力之前，深度學習的新架構是很需要的。”

在我看來，與諸如神經後端和符號前端（如圖2）的清晰並置相反，符號操作很可能會與神經體系結構深度耦合和糾纏在一起。“ 與通用計算機程式相比，它們的模型要比我們當前可區分的層更豐富的基元之上構建，這是我們將如何進行推理和抽象的方法，也是當前模型的基本弱點 ”

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)

這表明，“純粹主義”和“混合主義”這兩種方法之間的界限非常模糊。因此我認為，在觀點上的分歧更多程度上是重點不同產生的分歧，而不是根本的分歧。

原文連結： https://towardsdatascience.com/ innate-knowledge-and-deep-learning-8e9405741ee2

歡迎點選“ 京東雲 ”瞭解更多精彩內容

以上資訊來源於網路，由“京東雲開發者社群”公眾號編輯整理，不代表京東雲立場。