讀AI新生：破解人機共存密碼筆記07概念和理論

1. 全球層面的智慧

1.1. 僅僅為了閱讀完當前世界上所有的出版物（更不用說過去所有的書面材料）就需要20萬名全職人員，收聽當前的廣播則還需要6萬名全職人員

1.1.1. 監聽世界上所有的電話也是可能的（這項工作需要大約2000萬人）

1.2. 這樣一個系統，如果它能提取簡單的事實性陳述，並能跨所有語言整合所有這些資訊，那麼它就會成為令人難以置信的回答問題和揭示模式的資源，可能比目前價值約1萬億美元的搜尋引擎還強大得多

1.2.1. 它對歷史學和社會學等領域的研究價值將是不可估量的

1.3. 機器可以利用的另一種“超級力量”是瞬間看到整個世界

1.3.1. 衛星每天以每畫素約50釐米的平均解析度拍攝整個世界

1.3.2. 計算機視覺演算法可以處理所有這些資料，生成一個每天更新的可搜尋的全球資料庫，還能生成經濟活動、植被變化、動物遷徙和人口流動、氣候變化影響等的視覺化和可預測模型

1.3.3. 像Planet（星球）和DigitalGlobe（數字地球）這樣的衛星公司正忙著把這一想法變成現實

1.4. 隨著全球層面的感知成為可能，全球層面的決策也在成為可能

1.4.1. “智慧城市”控制系統

1.4.1.1. 它旨在最佳化交通管理、運輸、垃圾收集、道路維修、環境保護和其他造福市民的功能，這些可能會擴充到國家層面

1.5. 隨之而來的可能是全球範圍內的隱私侵犯和社會控制

2. 超級人工智慧何時到來

2.1. 歷史上預測出錯的情況經常出現

2.2. 超級人工智慧將要跨越的門檻並不明確

2.2.1. 機器在某些領域已經超越了人類的能力

2.3. 超級人工智慧何時到來在本質上是不可預測的

2.3.1. 盧瑟福宣佈鏈式核反應完全不可能的幾個小時後，西拉德就發明了鏈式核反應一樣不可預測

2.4. 大多數活躍的研究人員預計人類水平的人工智慧將在21世紀中葉到來

2.5. 現在和超級人工智慧之間還隔著好幾個重大突破，而不僅僅是一個

2.5.1. 解決這一問題不能靠把錢花在更多的工程師、更多的資料和更強大的計算機上

2.6. 一些未來學家根據摩爾定律繪製圖表，預測了未來計算能力的指數級增長，展示出機器將超越昆蟲大腦、老鼠大腦、人類大腦，以及所有人類大腦的日期等

2.6.1. 速度更快的機器只會更快地給出錯誤的答案

2.7. 如果將人工智慧領域的領先專家聚集到一個擁有無限資源的團隊中，目標是透過整合我們所有最好的想法來建立一個整合的、人類級別的智慧系統，那麼結果必將是失敗

2.7.1. 這個系統會在現實世界中崩潰

2.7.2. 它不明白髮生了什麼，無法預測其行為的後果，無法理解人們在任意特定情況下想要什麼，因此它會做蠢事

3. 語言和常識

3.1. 沒有知識的智慧就像沒有燃料的發動機

3.1.1. 人類從他人那裡獲得了大量的知識，知識以語言的形式代代相傳

3.2. 大量的知識存在於語言本身，存在於它所提供的概念之中

3.3. 一臺真正理解人類語言的機器將能夠迅速獲取大量的人類知識，從而繞過在地球上生活過的1000多億人在幾萬年之中的學習過程

3.3.1. 期待一臺機器從原始的感官資料開始，從頭開始重新發現這一切似乎是不切實際的

3.3.2. 自然語言技術還不能勝任閱讀和理解數百萬本書的任務，其中許多書甚至會難倒一個受過良好教育的人

3.4. 閱讀需要知識，而知識（在很大程度上）來自閱讀

3.5. 希望採用自助演算法讓系統讀取一些簡單的文字，獲得一些知識，然後使用這些知識來讀取更復雜的文字，獲得更多的知識等

3.5.1. 發生的情況通常恰恰相反：系統所獲得的知識大多是錯誤的，這會導致閱讀錯誤，從而導致更多的錯誤知識等

3.6. NELL

3.6.1. Never-Ending Language Learning，無止境語言學習

3.6.2. 卡內基–梅隆大學的“NELL”專案可能是目前正在進行的最雄心勃勃的採用自助演算法的語言專案

3.6.3. NELL僅對其3%的知識點有信心，它還要依靠人類專家定期清除錯誤或無意義的知識點

3.6.3.1. 它認為“尼泊爾是一個國家，也被稱為美國”和“價值是一種農產品，通常被分割成基礎”

3.7. 單一的突破不可能將惡性迴圈變成良性迴圈

3.8. 一個知道足夠多事實的程式可以找出一個新句子所指的事實，從而學習一種新的表達事實的文字形式，然後讓它發現更多事實，因此這個過程會繼續下去

4. 概念和理論的累積學習

4.1. 成千上萬的人在數百年的觀察和研究中積累和交流了知識與概念

4.2. 從米利都的泰勒斯用羊毛摩擦琥珀並觀察靜電荷的積累，到伽利略從比薩斜塔投下小球，再到牛頓看到蘋果從樹上落下，經過成千上萬次的觀察，人類逐漸積累了一層又一層的概念、理論和裝置

4.2.1. 質量

4.2.2. 速度

4.2.3. 速度

4.2.4. 力

4.2.5. 牛頓運動定律和萬有引力定律

4.2.6. 軌跡方程

4.2.7. 電現象

4.2.8. 原子

4.2.9. 電子

4.2.10. 電場

4.2.11. 磁場

4.2.12. 電磁波

4.2.13. 狹義相對論

4.2.14. 廣義相對論

4.2.15. 量子力學

4.2.16. 半導體

4.2.17. 鐳射

4.2.18. 計算機

4.3. 物理學的先驗知識，加上儀器的觀測資料，使得科學家能夠推斷黑洞融合事件的發生

4.3.1. 這種先驗知識本身就是用先驗知識進行學習的結果，以此類推，一直可以追溯到遙遠的歷史

4.4. 累積下來的圖景就是實際發生的事情，也就是說，科學家一直在書和論文中寫下他們的發現和理論

4.4.1. 後來的科學家只能接觸這些形式的顯性知識，而無法接觸更早的、早已過世的幾代人的原始感官體驗

4.5. 深度學習系統主要是資料驅動的，我們充其量只能在網路結構中“連線”一些非常弱的先驗知識形式

4.6. 純資料驅動的學習觀

4.6.1. 輸入的是資料，輸出的是假設，中間是黑盒子

4.6.2. 如果人們能夠做到這一點，那將是“大資料、大網路”深度學習方法的典範，但這是不可能做到的

4.7. 機率程式設計系統的確允許在學習過程中加入先驗知識，正如機率知識庫的結構和詞彙表所表達的那樣，但我們還沒有有效的方法來生成新的概念和關係，並使用它們來擴充這類知識庫

4.8. 主智慧體進行學習所需要的

4.8.1. 進行預測所需要的“資料”應該包括什麼？

4.8.1.1. 因為我們人類已經對引力波、交通、視覺影像和古董有所瞭解

4.8.1.2. 所謂的“特徵工程”，要做好這一點，我們需要對特定的預測問題有很好的理解

4.8.1.3. 真正的智慧機器需要學習新知識時，不能依賴於每次都有人類特徵工程師

4.8.1.4. 它必須自己找出，是什麼構成了這個問題的合理假設空間

4.8.2. 新概念的累積生成

4.8.2.1. 如質量、加速度、電荷、電子和引力等

4.8.2.2. 事實上，一切科學發現都依賴於一層又一層的概念，這些概念可以追溯至歷史和人類經驗

4.8.2.3. 在科學哲學中，特別是在20世紀初，新概念的發現經常歸因於三個妙不可言的“I”

4.8.2.3.1. 直覺（intuition）

4.8.2.3.2. 洞察力（insight）

4.8.2.3.3. 靈感（inspiration）

4.8.2.3.4. 所有這些都被認為是對一切理性或演算法解釋的牴觸

4.8.2.4. 如果機器學習演算法能夠在假設空間中進行搜尋，可以為輸入中不存在的新術語新增定義，那麼該演算法就可以發現新概念

4.8.2.5. 我們知道如何在相對簡單的情況下做到這一點，但是對更復雜的理論而言，引入的新概念的數量可能變得非常龐大

4.8.2.6. 即使深度網路使用的是非常簡單的學習演算法，深度網路通常能夠成功地找到有用的中間特徵

4.8.2.6.1. 比如眼睛、腿、條紋和拐角