「我不理解造不出來的東西。」——理查德·費曼
智慧的創生和理解
幾百萬年前，人類智慧在非洲大陸首次出現，並且繼續發展，最終在大約 10 萬年前在智人的大腦中達到頂峰。作為現代人類，我們只能想象古代祖先在窺視夜空時所經歷的事情，以思考物理現實的本質，以及在內心窺視自己思考自己心理現實的本質。在過去的幾百年裡，我們的物種通過發現控制空間、時間、物質和能量行為的基本數學定律，在發展對物理現實的精確理解方面取得了巨大的智力進步，現在已經在量子力學和廣義相對論的大框架中被編纂。然而，我們正處於探索心理現實本質的最初階段。尤其是人類智慧是如何從 100 億個突觸連線的 1000 億個神經元的溼物中產生的？神經科學、心理學和認知科學的現代學科在過去 100 年中取得了重要進展，為攻克這一重大問題奠定了基礎。
但是，當涉及到我們自己的智慧時，僅僅理解它們是不夠的。我們也非常希望在無生命系統中重現這些功能。事實上，人工智慧（AI）的新興領域，與神經科學、心理學和認知科學領域合作，在創造具有類似人類能力的機器方面取得了巨大進步。在這篇文章中，我將深入探討人工智慧、神經科學、心理學和認知科學以及數學、物理和社會科學中的交叉學科如何交織在一起以理解和創造智慧系統的過程。
生物與人工之間的合作
- 在過去的 60 多年中，AI 受到神經科學和心理學的深刻影響，並且確實得到了啟發。以下是神經科學、心理學和 AI 之間過去的相互關聯的歷史：
- 相對簡單元素（神經元）的分散式網路能夠實現大規模計算，並且現在以神經網路的形式滲透到現代 AI 系統中。
- 各種降維技術包括多維縮放和因子分析，最初是在心理測量學研究的背景下開發的。
- 著名的神經科學家 Horace Barlow 提出了分解編碼（factorized codes）的概念，這反過來激發了獨立成分分析（ICA）和當前的 AI 研究，目的在於分解出資料變異的獨立因素。
- Tolman 在認知地圖上的工作提供了證據：即使是老鼠也會形成世界的心理模型，並且可以使用這些模型進行規劃和導航。這鞏固了內部模型形成作為動物智慧的關鍵組成部分的思想，這一課題目前處於人工智慧研究的前沿。
- Hopfield 網路是理論神經科學的一個模型，為分散式、內容可定址的記憶體儲存和檢索提供了統一的框架，也啟發了 Boltzmann 機的提出以及許多滿足弱約束的分佈作為 AI 計算模型的想法。
- 目前主宰機器視覺的深度卷積網路的關鍵成分直接受到大腦的啟發。這些成分包括腹側流中的分層視覺處理結構，表明「深度」的重要性；視網膜部位再現（retinotopy）是整個視覺皮層的組織原理，導致卷積的提出；簡單和複雜細胞的發現啟發了最大池化等操作的提出；皮層內神經歸一化現象的發現，促進了人工網路中的各種歸一化階段的提出。
- 稀疏編碼的研究是為了理解初級視覺皮層中定向邊緣檢測器的原理，如今稀疏編碼成為現代 AI 系統中的基本構建塊。
- 即時差分學習等演算法現在已經成為強化學習領域的基礎，其靈感來自經典的動物條件反射實驗。
- 反過來，強化學習對基底神經節工作原理的解釋產生了巨大影響，其中多巴胺能（dopaminergic）神經元為基底神經節提供了最重要的獎勵預測誤差訊號，從而推動了許多強化學習演算法的學習。
- 大腦中儲存系統的模組化啟發了現代記憶神經網路，它在一定程度上將儲存器儲存和執行控制電路的操作分開，決定何時從儲存器讀取和寫入。
- 人類注意力系統啟發了注意力神經網路的提出，這些神經網路可以被訓練以動態地處理或忽略部分狀態和輸入。
- 語言學和認知科學中形式化語法生成的發展導致概率語法和 CS、AI 中的解析方法的發展。
- dropout 等現代正則化技術受到神經動力學內在隨機性的啟發。
AI 未來的生物學啟示
儘管當前人工智慧系統在監督模式識別任務方面取得了顯著的成功，但我們仍然要在很長時間裡模仿人類智慧。在這裡，我從個人觀點概述了一些研究方向，其中生物和人工智慧領域可以攜手前進。當然這些方向並非詳盡無遺。
生物學式的信度分配
信度分配問題可能是神經科學和人工智慧領域最大的開放性問題之一。假設你正在打網球而且發覺你正不正確地擊球。你的 100 萬億個突觸中哪一個應該受到指責？大腦如何在你的運動系統中專門找到並糾正真相關的突觸組，尤其是在錯誤發生後幾百毫秒內通過視覺系統傳遞錯誤時？在 AI 中，這種信度分配問題在許多情況下通過多層計算的反向傳播來解決。然而，目前尚不清楚大腦如何解決這個問題。實際上大腦使用區域性學習規則來解決：即每個突觸僅使用物理上可用的資訊來調整其強度，例如由突觸連線的兩個神經元的電活動、其他附近突觸的連線強度，以及任何反映反映獎勵和錯誤的神經遞質輸入。解釋這種區域性突觸的規則是什麼，以及它們如何工作可能對 AI 產生重大影響，帶來學習上避免反向傳播通訊開銷的神經形態晶片的易並行實現。
整合突觸複雜性
生物和人工神經模型之間的主要區別在於我們模擬連線神經元突觸的方式。在人工網路中，突觸由單個標量值建模，利用乘法增益因子轉換突觸前神經元的輸入來影響突觸後神經元的輸出。相反，每個生物突觸都隱藏在極其複雜的分子訊號通路中。例如，我們對最近事件記憶的海馬突觸各自包含數百種不同型別分子的化學反應網路，能夠實現具有複雜時間處理能力的完整動力系統。
對於這種複雜性，理論家或工程師可能會試圖簡單地將其視為生物學上的混亂，只是進化過程中的偶然事件。然而，理論研究表明，這種突觸複雜性可能確實對學習和記憶至關重要。事實上，在突觸具有有限動態範圍的記憶網路模型中，要求這樣的突觸本身就是具有複雜時間過濾特性的動態系統，以實現合理的網路儲存容量。此外，人們最近在 AI 中探索了更智慧的突觸作為解決災難性遺忘問題的一種方法（有序地學習兩個任務的網路只能學習到第二個任務，因為學習第二個任務會改變突觸權重，抹去了學習第一個任務時獲得的知識）。
更一般地說，我們當前的人工智慧系統很可能通過忽略生物突觸的動態複雜性而滿足於在表格資料中取得重大的效能增益。但正如我們可以為網路新增空間深度以實現複雜的層次表徵一樣，我們可能還需要為突觸新增動態深度以實現複雜的時間學習功能。
單個突觸內的複雜分子狀態可以幫助學習和記憶。
從系統級模組化大腦架構中獲取線索
當前的 AI 系統涉及具有相對均勻的分層或迴圈架構的訓練網路，其從隨機初始化權重開始訓練。但是，對於更復雜的任務來說，這可能難以解決。事實上，生物進化的道路截然不同。所有脊椎動物的最後共同祖先生活在 5 億年前。從那以後，它的基礎大腦一直在發展，大約 1 億年前演化為哺乳動物大腦，乃至幾百萬年前的人類大腦。這種不間斷的進化鏈導致了一個錯綜複雜的大腦結構，具有高度保守的計算元素和巨大的系統級模組化。事實上，我們目前基本缺乏工程設計原則，來解釋像大腦這樣的複雜感測、通訊、控制和記憶網路如何在 5 億年內不斷擴大規模和複雜性，同時永遠不會失去在動態環境中自適應執行的能力。因此，AI 從大腦的系統級結構中獲取線索可能會非常有趣。
其中一個關鍵的系統屬性是功能層面和解剖層面的模組化。大腦不像我們目前的 AI 架構那樣是同質的，而是有不同的模組，如海馬體（儲存情節記憶和導航）、基底神經節（潛在的強化學習和動作選擇區域）和小腦（自動化熟練的運動控制和通過監督學習獲得更高層次的認知）。此外，人腦中的記憶系統（習慣記憶、運動技能、短期記憶、長期記憶、情景記憶、語義記憶）也是功能模組化的；不同的記憶型患者可能在一種型別的記憶中存在缺陷而在其他型別的記憶中沒有缺陷。此外，在運動系統中，巢狀反饋迴路結構占主導地位：簡單的快速回路通過脊髓在 20 毫秒內實現自動運動校正；稍慢的智慧迴路通過運動皮層在 50 毫秒內實現更復雜的運動校正；最後，視覺反饋流過整個大腦，實現對運動錯誤的有意識糾正。最後一點，所有哺乳動物大腦的一個主要特徵是由大量相對相似的 6 層皮質柱組成的新皮層，所有這些都被認為是在單個規範計算模組上實現變異。
總體而言，現代哺乳動物大腦的顯著模組性，在 1 億年獨立進化的物種之間相對保守，表明這種系統級模組化可能有利於在 AI 系統中實施（功能原理，不限於生物細節），並且目前從零開始訓練神經網路的方法可能不是走向通用人類智慧的途徑。實際上，系統級模組化（解剖和功能）的組合、隔離不同型別糾錯的巢狀迴圈，以及更加動態複雜的突觸可能都是解決上述信度分配問題的關鍵因素。
5 億年的脊椎動物大腦進化創造了一個高度異構和模組化的計算系統。
無監督學習、遷移學習和課程設計
人工智慧系統與人類學習之間的另一個主要差異在於，擁有大量標記資料人工智慧系統甚至可以達到人類級別的效能。例如，最近的語音識別系統在 11,940 小時的語音訓練中進行了對齊轉錄。如果我們每天聽和看另一個人類閱讀文字兩個小時，那麼將需要花費 16 年才能收集到如此規模的資料集。AlphaGo Zero 練習了 490 萬場自我對弈來擊敗人類圍棋大師。如果一個人每天玩 Go 30 年，每天將必須玩 450 場比賽才能訓練出 AlphaGo Zero。此外，最近關於視覺問答的資料集包含 0.25M 影象、0.76M 問題和 10M 答案。如果我們每天收到關於影象的 100 個問題的答案，那麼我們需要 274 年的時間來收集這個規模的資料集。在所有這三種情況下，很明顯人類接受的標記訓練資料量要少得多，但他們可以識別語音、下圍棋並很好地回答有關影象的問題。
彌合人工智慧和生物智慧之間差距的幾個關鍵在於人類從未標記資料中學習的能力（無監督學習），以及在解決先前任務時獲得的強大先驗知識，並將這些知識遷移到新任務（遷移學習）。最後，人類社會建立了教育系統，涉及精心挑選的任務序列的設計，以促進知識獲取（課程設計）。為了在人工系統中有效地例項化這些概念，我們需要更深入地理解和用數學形式化人類和其他動物如何進行無監督學習、知識如何在任務之間轉移，以及如何優化課程。
Taskonomy：史丹佛大學開展的關於 26 項不同視覺任務之間遷移的研究。
建立理解、規劃和主動因果學習的世界模型
當前 AI 的成功很多是通過監督方法實現的，其中 AI 系統被動地接收輸入，被告知正確的輸出，並且它調整其引數以匹配每個輸入-輸出組合。相比之下，嬰兒就像活躍的科學家一樣考察周圍的環境。例如，考慮下面的實驗：通過戲法，我們可以讓嬰兒看到兩個「魔法」物體：物體 A，它看起來穿過了牆壁；而物體 B，它在放手時不會掉落。現在給寶寶兩個玩具，嬰兒將專門嘗試將物體 A 推過固體表面，然後放下物體 B 以檢視它是否會掉落。這項非凡的實驗表明，嬰兒就像科學家一樣思考和行動。特別是他們：（1）已經有了物理世界應該如何表現的內部模型；（2）注意違反世界模型的事件；（3）進行主動的實驗以收集有關這些違規行為的進一步資料，從而自主根據當前的世界模型選擇自己的訓練資料。
因此，與大多數當前的 AI 系統不同，即使嬰兒也具有學習和利用世界模型的卓越能力。我們需要在神經科學和人工智慧方面進一步研究從經驗中學習世界模型，使用這些世界模型進行規劃（即，根據當前行動想象不同的未來），並據此作出決策。這種基於模型的規劃和決策可能是當前無模型強化學習系統的有力輔助，無模型系統簡單地將世界狀態對映到數值或預期的未來獎勵。這個方向的研究可以和神經科學攜手並進，揭示動物的神經活動如何與想象的以及現實的未來相關。此外，好奇心等基本驅動因素可以形式化為強化學習系統，以促進學習和探索。更一般地，深入理解多個系統和促進動物和人類學習的內在生物驅動可能對加速人工系統的學習非常有益。
科學家發現嬰兒的感官體驗統計資料有了新的變化。
在後摩爾定律時代實現節能計算
生物系統和人工系統之間的另一個數量級差異在於它們的能量消耗。人腦僅消耗 20 瓦的功率，而超級計算機則以兆瓦的功率執行。從這個意義上講，我們甚至比燈泡更加暗淡！造成這種差異的一個關鍵原因可能是過度依賴數字計算本身。雖然數字革命推動了現代資訊科技的興起，但現在可能被認為是實現強人工智慧過程中的次優技術遺產。原因是數字計算需要在計算的中間階段以極高的可靠性翻轉每一位。然而，熱力學定律為每一個快速可靠的位翻轉確定了相當大的能量成本，從而無法 shi'xian 高能效。
相比之下，使用細胞內的分子以及腦內神經元的生物計算看起來令人驚訝地嘈雜和不精確。然而，生物計算的每個中間步驟都足夠可靠，以使最終答案足夠好。此外，大腦可以智慧地根據所需的通訊速度向上或向下調節能量成本（正如手機處理器剛開始做的事情）。例如，考慮大腦中通過目標神經元的單個位（bit）的成本。它開始於囊泡的隨機釋放，其內容物以 1 毫米/秒的速度擴散到源神經元和目標神經元之間的空間，僅燃燒 2.3 毫微微焦耳（fJ）。這種慢速很好，因為神經元連線之間的空間只有 20 奈米。該化學訊號被轉換為無源電訊號，其以 1 米/秒的速度流過神經元細胞體，燃燒 23fJ 以橫穿約 10 微米。最後，它到達軸突終端並轉換為長軸，沿著軸突每秒行進 100 米，燃燒 6000 fJ 行進 1 釐米。因此，在從化學訊號傳遞到被動電訊號時，大腦動態地將通訊速度上調 1000 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加 10 倍。類似地，在從被動到主動電訊號傳輸的過程中，大腦將通訊速度提高 100 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加約 200 倍。
因此，只有在需要更高速度以及需要更高可靠性時，大腦才會消耗更多能量。相比之下，數字計算機在剛性同步時鐘上執行，並且在每個時鐘週期，許多電晶體必須可靠地翻轉狀態。總之，生物計算的明顯混亂不一定是不可避免的混亂，而可能反映其高能效設計的理想原則。
Neurogrid：由史丹佛 Brains in Silicon Lab 開發的一種生物啟發的神經形態計算機。
尋求生物和人工智慧的普遍規律
在人工智慧系統設計中，一種經常被引用的無視生物學的爭論涉及到飛機與鳥類的比較。畢竟，如果我們想要做出人造飛行機器，現在看來模仿羽毛和撲翼等生物成分來發明飛行器似乎是荒謬的。然而，仔細觀察這個想法會發現更多的細微差別。飛行的一般問題涉及解決兩個基本問題：（1）為了前進而產生推力，以及（2）升力的產生使我們保持在天空中。鳥類和飛機確實解決了非常不同的推力問題；鳥兒拍翅膀，飛機使用噴氣發動機。然而，它們以完全相同的方式解決了升力問題，通過使用彎曲的翼形，在下方產生更高的氣壓。
實際上，我們知道空氣動力學的一般物理定律控制著不同形狀通過空氣的運動，這產生了可計算的方法來預測產生的力，如升力和推力。而且，任何解決飛行問題的方法，都必須遵守空氣動力學定律。雖然在空氣動力學約束下對於飛行問題可能存在不同的可行解決方案，但是這種解決方案可以共享某些特性（即，用於產生升力的方法），同時在其他特性（即，產生推力的方法）方面不同。最後，在飛行器開發中可能還有進一步的工程靈感，可以從果蠅實施的生物控制法中獲得。果蠅能夠進行快速的空中機動，遠遠超過世界上最先進戰鬥機的能力。
更一般地說，在我們對物理世界的研究中，我們習慣於存在約束其行為的原則或規律。例如，正如空氣動力學控制飛行物體的運動一樣，廣義相對論控制著空間和時間的曲率，量子力學控制著奈米世界的演化。我們認為，也可能存在一般原則或規律來約束智慧行為如何從大型互連神經元網路的合作活動中產生。事實上，本文的作者曾經使用動力系統理論、統計力學、黎曼幾何、隨機矩陣理論、自由概率理論等技術來獲得對生物和人工網路運作的概念性見解。然而，為了闡明約束非線性分散式電路中智慧出現的一般規律和設計原則，還需要進一步的工作，包括開發新概念、分析方法和工程能力。最終，就像鳥類、飛機和空氣動力學的故事一樣，創造智慧機器的問題可能存在多種解決方案，其中一些元件在生物解決方案和人工解決方案之間共享，而其他元件則可能不同。通過尋求一般的智慧定律，我們可以更有效地理解和遍歷這個解決方案空間。
原文連結：https://hai.stanford.edu/news/the_intertwined_quest_for_understanding_biological_intelligence_and_creating_artificial_intelligence/