AI應從神經科學中借鑑想法和思路

編者注：在這裡登記報名可以下載即將出版的由Jack Clark編寫的報告《人工智慧：教會機器像人一樣思考》。本文所刊載的採訪是收錄在這篇報告中一系列採訪之一。

根據Geoff Hinton（經常被譽為深度學習的“教父”）的觀點，更好地理解神經元產生脈衝的原因可以帶來更聰明的人工智慧系統，其可以更有效地儲存更多的資訊。

Geoff Hinton是多倫多大學的榮譽退休傑出教授和谷歌的工程院士。他是神經網路的先驅者之一。作為很小一群學術人員之一，他和其他人共同哺育這項技術渡過了它所經歷的研究興趣、資金和發展的低潮期。

核心內容：

1. 通過諸如奧巴馬政府的“大腦計劃”這樣的研究專案完成的大規模大腦研究，有希望獲得對大腦的新認知，從而為AI的設計人員帶來新想法和思路。

2. 是可以把神經科學裡的發現引入到AI相關的想法裡，儘管這可能會花些時間。在1973年，Hinton首先想到去實現一個類似於神經突觸在多時間尺度上變化的機制，但直到2016，才發表了這個領域的一篇主要論文。

3. 開發強大的感知系統是相對容易的，但是我們需要新的技術來構建能夠推理和語言的系統。

Jack Clark：為什麼我們在開發AI系統時需要關注大腦？我們需要關注哪些方面？

Geoff Hinton：主要原因是大腦是真正有智慧的東西。到目前為止，大腦是我們唯一知道的聰明且通用的智慧。第二個原因是，很多年來，一部分人認為我們應該關注大腦從而能讓AI更好地工作，但他們並沒有前行太遠。在80年代他們有推進，但隨後就停滯了。AI界的人們嘲笑他們說：“你不能通過研究大黃蜂來設計波音747客機”。但事實表明他們從大腦研究上取得的靈感對AI是非常有用的，而且沒有這些靈感，他們也不會向那個方向去研究。這不僅僅是因為我們有一個智慧的例子，還因為我們也有一個真正能工作的方法論的例子。我認為我們應該繼續推進這個方向。

JC：今天，諸如神經網路的現代分類器的各個方面看起來都有些類似於我們知道的大腦的視覺系統。受海馬體的啟發，我們也開發了記憶系統。還有其他的領域我們可以借鑑大腦，並從中獲取靈感嗎？比如脈衝刺激神經元？

GH：我們真不知道為什麼神經元要發脈衝。一個理論是它們想要噪聲，以便正則化，因為我們的引數超過資料量。整個Dropout（丟棄部分引數，一種防止過渡擬合的技術）的思路就是如果你有噪音的啟用，你就能承受使用一個更大的模型。這可能是為什麼它們要發脈衝，但我們並不清楚是否真是這樣。另外一個它們要發脈衝的原因可能是這樣它們就能使用類似時間的維度，來在脈衝時編碼一個真實值。這個理論已經出現有50多年了，但沒人知道它是否正確。在某些子系統裡，神經元確實是這樣做的。這就像通過判斷訊號到達兩耳的相對時間，從而就能獲取方向。

另外一個領域就是在記憶部分。突觸以許多不同的時間尺度和複雜的方式去適應。 目前，在大多數人造神經網路中，我們只有一個適應突觸的時間尺度，以及一個啟用神經元的時間尺度。我們沒有這些中間時間尺度的突觸適應，我認為這對於短期記憶將是非常重要的，部分原因是它給你一個更好的短期記憶容量

JC：在我們瞭解大腦的能力上有什麼樣的障礙？從而減緩我們受它啟發來提出新思路的速度。

GH：我認為如果你把一個電極插入一個細胞並從中記錄資訊，或是把電極放到細胞附近並從中記錄，或是靠近很多的細胞並從其中一部分中記錄，你可能無法理解一些可能通過光學染料很容易理解的事情，比如一百萬個細胞正在幹什麼。在奧巴馬大腦計劃裡有非常多的事情可提供給我們新的技術，從而讓我們看到（並弄清楚）那些曾經非常難確立的事情。我們還不知道它們將會是什麼，但我猜想這將會帶給我們一些有趣的思路與想法。

JC：因此，如果我們有足夠大的神經網路，對於任何工作它能和人腦想匹敵嗎？或還有什麼我們遺漏的部件嗎？

GH：這取決於你所說的是什麼具體工作。如果你所說的是像語音識別，那麼如果一個真正大的網路能和人類向匹敵的話，我會非常驚喜的。我認為這就不會很差也不會太好。人類不是上限。我認為在語音識別上，如果在10年內，神經網路不能做到比人類更好，我也不會很驚訝。對於其他的領域，比如推理和從一個非常小的樣本里學習，開發一個能匹敵人類甚至是超越人類的系統會花更長的時間。

JC：現代的推斷學習系統看起來有的一個問題，即瞭解問題的哪個部分值得專注去探索，由此你不必浪費時間在那些影象裡不重要的部分。

GH：這在視覺裡也是一樣的。人類做出了非常智慧的定位，幾乎所有的光學陣列從不會以高分辨力進行處理。而在計算機視覺裡，人們一般會把整個陣列上的低解析度、中解析度和高解析度都獲取，並試圖把這些資訊整合起來。所以這就是我們碰到的同樣的問題。你如何智慧地定位在事物上？我們也將在處理語言時面對同樣的問題。這是一個非常本質的問題，而我們尚未解決。

JC：最近的一個講演裡，就你發表的一篇論文，你介紹了在神經網路裡短期記憶權重修改的主題。你能解釋一下這個論文以及為什麼你認為這很重要嗎？

GH：在迴圈神經網路裡，如果是處理一個句子，網路需要記憶到某個時間點句子裡都有了什麼內容。所有這些記憶都在隱藏層神經元的啟用函式裡。這意味著這些神經元必須被用來記憶內容，因此他們就不能用於當前的處理了。

一個好的例子就是如果你碰到一個巢狀的句子，比如你說“John不喜歡Bill因為他對Mary很無禮，因為Bill對Mary很無禮”。網路會從頭開始處理這個句子，然後用同樣的處理邏輯來處理“因為Bill對Mary很無禮”。這時的理想情況是，你希望使用相同的神經元、相同的連線和相同的連線權重來處理這後半句話。這才是真正的迴圈，同時這也意味著你需要使用到目前為止從句子裡學習到的東西，因此你必須把這些東西存放到什麼地方。那麼現在的問題就是：你怎麼去存放它們？在計算機裡，這很簡單，因為有記憶體。你可以把他們拷貝到記憶體裡的其他地方來釋放當前記憶體。但在大腦裡，我不認為我們是把神經活動模式進行拷貝的。我認為大腦所做的是快速改變突觸的強度，從而能在我們需要記憶的時候重建它。而且我們可以在合適的上下文的時候重建它。

我最近與Jimmy Ba和DeepMind的一些研究員共同發表了一篇論文，展示了我們是如何實現這種機制的。我認為這就是一個例子，展示了了解突觸可以在多個時間尺度上變化這個事實對AI的研究是有用的。我最早是在1973年就想到了這一點，並設計了一個很小的模型，在一個非常簡單的任務上實現了真正的迴圈。一年前，我在DeepMind重新實現了這個想法，並在這個框架內成功了。現在這個框架能記住任何東西。當我第一次冒出這個想法的時候，那時的計算機記憶體只有64k，我們也不知道如何訓練大的神經網路。

JC：你是否認為AI需要以某種應用形式出現才能變成真正的智慧，比如機器人或是足夠豐富的模擬？

GH：我認為這個問題有兩個層面。一個是哲學層面，而另一個則是實踐層面。在哲學意義上，我認為沒有理由要求AI必須以某種形式呈現，因為你可以通過閱讀Wikipedia來了解這個世界是什麼樣。但從實踐意義上說，我認為實用化對AI會很有幫助。馬克思說：“如果你想了解這個世界，去嘗試並改變它。”僅僅只是觀察去理解事務運作的機理，並不如實踐行動那樣有效。因此，哲學問題就是：這個實踐是否至關重要？如果實踐對理解這個世界至關重要，那麼天體物理學就有麻煩了。因此，我的答案是否定的。我不認為AI的應用形式化是必須的。

JC：如果你可以複製某些脈衝神經元的特性，並與可以形成臨時記憶的系統整合，你可以構建出什麼東西？

GH：我認為這會讓目前所有我們已有的東西工作得更好。因此，對於自然語言理解，我認為有一個權重可以快速變化的輔助記憶將是非常有用的。對於那些前饋傳播網路，我認為重合檢測器對於過濾背景噪音會非常合適。這樣神經網路就能更好地聚焦於訊號區，而過濾掉噪音。這在學習小資料集時可能也會有幫助。

This article originally appeared in English: "Adapting ideas from neuroscience for AI".

Jack Clark

Jack Clark是一位專注於人工智慧的作家和傳播者。 他在OpenAI工作，之前曾為Bloomberg和BusinessWeek報導AI內容，併為The Register報導分散式系統。 他寫了一個關於AI的發展的每週簡報，稱為“Import AI”。

---

---

Strata Data Conference北京站正在報名中，點選圖片中二維碼可登入會議網站，瀏覽截止到目前為止的講師名單和已經確認的議題，早期票價優惠期截止到6月9日，儘快註冊以確保留位。