曾被認為不存在的「算珠」,正在重新發明神經網路

微胖發表於2017-08-17

我們可以談論人工智慧掌握一些人類本領,比如開車或者玩撲克。但是,當需要讓海量、無序資訊變得有意義時,人類還無法打造一個哪怕是接近大腦的 AI。部分原因在於大腦未解之謎,以及已有半世紀曆史的計算機架構,制約了這一目標的實現。

如今,一種新的計算正規化為突破瓶頸帶來曙光。這種激進方案使用了一種同時儲存、處理資訊的硬體,與大腦神經元網路的差別不是很大。充分發揮這一新正規化的潛力,我們就能創造出可以實時分析資料流、識別模式,或許還能獨立自學的機器心智(mind)。

大資料時代,馮·諾依曼架構捉襟見肘

筆記本,智慧手機,平板電腦,只要你說上來的,幾乎都遵循著馮·諾依曼結構。70 多年前,他主張計算機處理器與儲存單元應該彼此獨立。聽起來不像是什麼偉大的提議,但這意味著每執行一個新程式,沒必要再重新連線計算機。這種勞動分工的設計很湊效,人類製造出更快的計算機,辦法就是串聯處理器與記憶體。

但是,這一架構也有短處。

處理器需要資料資訊,必須先從儲存單元讀取。這就要求電子在兩個元件之間穿梭,因此,處理器經常覺得很無聊,因為要等資料。你的筆記本為什麼會有「多核」,這就是其中一個原因;多個處理器單元——每一個都與記憶體連線——意味著,它們可以同時請求資料,從整體上加快計算。

如今,這一侷限性真的開始妨礙到人類進步。

資料比以往任何時候都要多,特別是「大資料」革命正在臨近。我們已經可以瞥見未來的樣子:預測心臟病,資料預測分析比傳統醫學方法更快、更準。英國諾丁漢大學研究人員設計了一種演算法,可以處理近 400,000 病人的電子病歷,多麼龐大的資料分析任務。隨著物聯網範圍延伸到我們身邊的日常事物,從交通燈到冰箱,機器會為我們提供更多的生活洞見。

應用得當,前景無限。然而,如此龐大的資料量已經讓計算機過熱。美國能源部的一份報告顯示,世界 5% 到 15% 的能源都被用於計算,許多浪費在了資料的傳輸中。這正是我們需要突破馮·諾依曼瓶頸的原因。

人們為此進行了許多嘗試。上世紀 80 年代,科學家開始考慮利用光子而不是電子來編譯資訊。因為光子在光纖中的傳播速度更快,所需傳播時間更少。其他人想要堅持使用電子,不過希望將電子編碼進量子力學特性(自旋)中,讓電子攜帶更多資訊。但是,到目前為止,這些辦法都沒有很大進展,主要原因在於實施起來很複雜,以至於投入產出不成比例。

總而言之,多年來,這個問題一直挑戰著人類智慧,之所以很諷刺,是因為大腦本身就是一臺超級計算機,但所需能耗與一隻 20 瓦的電燈泡差不多。它們不會存在類似馮·諾依曼結構的瓶頸,因為同一個神經網路既可以儲存資訊還可以處理資訊。

大腦三大關鍵特徵與傳統模擬方法的弊病

那麼,如何模擬人類神經網路呢?這也是麻煩所在。我們不可能完全知曉大腦如何工作,不過,至少要模擬大腦的三個關鍵特徵。

首先,大腦由大量的神經元以及神經元之間的突觸組成。其次,這些連線具有突觸彈性,也就是說它們可強可弱。學習,其實就是強化某組神經元之間連線。

第三個特徵,脈衝時間相關的突觸可塑性 (spike-time-dependent plasticity)。相對前兩個特徵,這個特徵沒有得到很好的理解。該特徵表明,如果兩個神經元幾乎同時放電,那麼,神經元就會被加強;如果放電不同步,就會變弱。經過這一漫長過程,協同工作的神經元的關係會得到加強,以傳遞資訊,不重要的聯絡會被削弱。這就是大腦獨立學習的重要手段。綠燈時,你會立刻反應到「可以走了」,因為經過多年訓練,相關神經元之間的聯絡得到了強化。

事實上,長期以來,我們一直在試圖模仿大腦計算方式。這個研究領域被稱之為神經形態計算,如今已取得一些進步。

最早突破之一,來自研究人員 Frank Rosenblatt。1958 年,他將研究成果 Mark 1 感知機公佈於眾。Rosenblatt 對著機器的攝像頭展示了圓圈或三角型卡片,讓機器進行識別,他來修正錯誤。50 次嘗試之內,機器已經學會輸入代表圓圈或者三角的訊號。

不過,當時的電子工程技術限制了感知機的發展。但是,情況已今非昔比。谷歌的 DeepMind 神經網路的成績令人驚呼,比如去年 AlphaGo 戰勝頂尖人類圍棋手。

                  曾被認為不存在的「算珠」,正在重新發明神經網路

                                                                                  TMark 1 感知機

然而,DeepMind 神經網路完全是軟體層面的模擬,在標準矽電子元件上執行。所以,儘管和神經元網路學習方式類似,但並未突破馮·諾依曼結構瓶頸。

2014 年問世的 IBM TrueNorth 晶片走的更遠。該晶片有 55 億個矽電晶體,按照人腦 100 萬個「神經元」的結構進行排列。有了這枚晶片,手機可以實時識別視訊物體,比如汽車還是自行車,但是所需電量很少,僅為手機睡眠模式所需量。聽起來很贊,但是,如果將規模擴充套件到大腦神經元級別,其能耗將是人腦能耗的 1 萬倍。「這個辦法實際上是一種浪費。」瑞士蘇黎世大學神經形態工程師 Giacomo Indiveri 說。

簡言之,儘管想方設法模仿大腦某些特徵,但是,我們從來未曾實現將這三大特徵集中在一個物理系統上。比如,

TrueNorth 晶片擁有許多高度連線的「神經元」,但是,如果不借助軟體,根本無法調節連線強度。

憶阻器,機器獨立學習的未來

失敗要歸結於這樣一個事實:傳統電子產品還沒能力真去模擬神經突觸。但現在,我們有辦法了,這要感謝半個世紀前的思想。

1971 年,加州大學伯克利分校的電子工程師 Leon Chua 正在看一道連線基本電路元件的方程式,這些元件包括電阻、電容和電感。他突然注意到,可以用另外一種方式安排這些術語,結果得到一個關於第四個元件的方程式,這第四個元件的抗阻性會根據電流情況發生變化。Chua 將之稱為「憶阻器」,因為它的阻抗性似乎展示出一種記憶能力。但當時並沒有以這種原理工作的材料或者裝置,人們幾乎忘記了這個發現。

                曾被認為不存在的「算珠」,正在重新發明神經網路


約十年前,惠普公司的一個由 Stan Williams 帶領的團隊正在研究一種新型記憶體,與臺式電腦不同,在關掉電源後,新記憶體仍然保留資料。研究人員研究著使用了極薄鈦膜的裝置,他們發現其阻抗性會隨著經過電流而發生奇怪的變化。最終,他們意識到薄膜中活動的不僅僅是電子,也有原子,它們以微妙的方式反轉變化了材料結構及其抗阻性。易言之,這個團隊無意間創造出 Chua 憶阻器。

Williams 的研究有助於解釋以前為什麼從未發現過憶阻性;因為只能在微觀尺度上自證存在。如今,人們相繼發現一系列可充當憶阻器的物質,包括一些聚合物。

真實憶阻器的出現鼓舞了研究人員,原因有幾個,比如有可能開發出新的計算方式,其技術更成熟、所用語言也比現在的更有效。

                 曾被認為不存在的「算珠」,正在重新發明神經網路

但不久後,有人動真格了。

緊跟 Williams 的發現,密歇根大學的工程師 Wei Lu 邁出關鍵一步。他向人們展現了這一事實:憶阻器可充當具有彈性的突觸。他拿出了一個由幾層薄矽打造的裝置(其中一層帶有少量銀離子),它可以模擬上述大腦的第二個特徵。後來,Lu 展示憶阻器也可以模擬大腦的第三個特徵;應用電脈衝確切時點不同(exact timing of applied electrical spikes),憶阻器做成的突觸也會有強弱變化。

這項研究表明,「對於神經形態工程學來說,這真是激動人心的時刻,」Indiveri 說。「目前應該放棄矽電晶體,」荷蘭格羅寧根大學物理學家 Beatriz Noheda 說,聚焦研發成熟的、使用憶阻器的神經網路。

看起來,這只是擴充套件 Lu 研究成果的一個簡單案例。儘管他的研究只有一個單獨的突觸(帶有一個輸入和輸出神經元),但是,結果已經表明憶阻器可以實現三大重要大腦功能。接下來的研究會考慮搭建多層憶阻器神經元網路;每增加一層,網路就能進行更加複雜的「思考」。

沒那麼快,位於加州的 IBM Almaden 研究實驗室的 Geoffrey Burr 說。他說,Lu 所證實的脈衝時間依存的可塑性,只是在小規模上可行,但是,神經科學家並不確定在人腦大規模學習上表現如何。「在某種程度上,肯定會發生,」他說,「但是,我們還搞不清狀況。」也就是說,部署在大型人工神經網路,並不意味著可以帶來近似大腦的計算能力。

Burr 更喜歡堅持沒有脈衝時間依存的可塑性的網路。他使用的一個網路類似驅動 DeepMind 的神經網路,軟體控制著彈性突觸。但是,通過在憶阻器上執行這些網路(而不是電晶體),他能夠節省很多能源。

2014 年,Burr 搭建了一個這樣的網路,用了差不多 165000 個突觸。經過手寫書信資料集訓練後,該網路能夠準確識別這些手寫書信。Burr 的憶阻器由一種硫系玻璃(a chalcogenide glass)製成,這種材料能夠在原子有序或無序的兩相之間來回切換,改變材料導性。這種相變憶阻器正變得越來越可靠,晶片製造商們,比如英特爾開始出售使用憶阻器的記憶體裝置。

其他人認為,憶阻器可以幫助實現完全獨立學習的機器。

英國南安普頓大學奈米電子學研究人員 Themis Prodromakis 就是其中一員。去年,他搭建了一個神經網路,有四個輸入,兩個輸出神經元,用憶阻器突觸將它們連線起來。他可以輸入電子訊號,比如「1001」或「0110」,這與 20 世紀 50 年代向感知機展示圓圈或三角形類似。不過,感知機需要人類告訴機器有沒有猜對圖形形狀,但 Prodromakis 的網路完全自學,看到 1001 就傳送(fire off)一個輸出神經元,看到 0110 就傳送另外一個。即使是帶有噪音的訊號輸入,它也能正常執行。鑑於真實生活資料充滿噪音,這是一個非常重要的優勢。

最後,我們似乎正利用憶阻器重新創造大腦真實狀態(比如,當你望向窗外時)的精華部分:不存在瓶頸的獨立學習。

適當加以擴充套件,這類自我學習系統就能實時篩查資料,比如,監測自動駕駛汽車行為、橋樑完整性或者核電站,對龐大資料儲存中心(比如,為社交網路儲存資料的中心)的需求也會減少。由於需要冷卻,這些中心有時會建在北極附近。但是,如果憶阻器網路能夠實時解析資料,那麼,可能就不需要儲存資料。

由憶阻器製成的電腦還有一個潛在的優勢:因為執行原理類似大腦,因此,與人類連線或許會更容易些。現在已有一些使用矽晶片的裝置,它們可以獲取大腦運動進而將其轉交給現實世界的東西,比如,癱瘓人控制體外骨骼,或者在睡夢中控制電腦。

但是,挑戰依然不少。大腦神經元行為極為複雜,現有的神經介面很難處理所有那樣的資訊。「要電子元件處理如此豐富、高寬頻的資料,會讓它不堪重負。」Prodromakis 說道。憶阻器,是一個完美解決方案,因為它們只記錄表現脈衝顯著的訊號,忽略嘈雜的背景。這讓 Prodromakis 興奮不已,最近,他開始與 Galvani Bioelectronics 合作研發基於憶阻器的神經介面。Galvani Bioelectronics,一家去年成立的英國公司,源自 GlaxoSmithKline 和谷歌子公司一個 5.4 億英鎊合作專案。

困擾憶阻器網路的最大問題之一,是能否高效量產。執行良好的工廠可量產矽晶片,但也同樣適用於憶阻器嗎?

想找到答案,首先需要挑選最佳製造原料。Noheda 已在 Groningen 建立了一個研究中心從事這方面的研究。如果她和其他憶阻器先驅們獲得成功,那麼,未來計算機可能會由那些四十年來、我們一度認為不存在的材料打造而成。

文章來源:https://www.newscientist.com/article/mg23531370-600-brain-box-multitasking-chips-that-can-match-the-human-mind/

相關文章