讀AI新生：破解人機共存密碼筆記08超級智慧

1. 發現動作

1.1. 時間跨度長的智慧行為，需要具備在多個抽象層次上分層規劃和管理活動的能力，從攻讀博士學位（可能涉及1萬億個動作），到給一根手指傳送一個運動控制指令，從而鍵入求職信的字元，無所不包

1.2. 隨著時間的推移，未來越來越接近現在，計劃變得越來越詳細

1.2.1. 新的、模糊的計劃可能會新增到遙遠的未來之中

1.2.2. 不久之後的未來計劃會變得非常具體，可以由運動控制系統直接執行

1.3. 要找到構建抽象動作層次結構的方法

1.3.1. 其他許多人類語言中沒有名稱的動作，因為我們人類還沒有發現它們

1.3.2. 這種能力是達到人類水平的人工智慧所需要的最重要的一步

1.3.2.1. 這將增加那些我們無須思考就能完成的重要行動

1.4. 具有這種能力的智慧機器將會比人類看得更遠

1.4.1. 它們還可以考慮更多的資訊

1.4.2. 這兩種能力的結合必然會讓智慧機器做出更好的現實決策

1.5. 在人類與機器之間的一切對抗中，我們都會很快發現，就像加里·卡斯帕羅夫和李世石一樣，我們的每一步行動都被機器預料到了，並被阻撓了

1.5.1. 比賽還沒開始，我們就輸了

2. 管理精神活動

2.1. AlphaGo的計算活動

2.1.1. 該活動簡單且同質化

2.1.2. 每個計算單元都是相同的

2.2. 如果一個系統既能發現新的高階動作，又能管理它的計算活動，從而將注意力集中在計算單元上，快速地顯著提高決策質量，那麼它將成為現實世界中一個強大的決策者

2.3. 像人類一樣，它的審議“在認知上是有效的”，但它不會受到短暫的短期記憶和緩慢的“硬體”的影響，人腦的這些侷限性嚴重限制了我們展望未來、處理大量突發事件和考慮大量替代計劃的能力

2.4. 從有效地實現其目標的系統角度來看，目前並沒有明顯的重要內容被遺漏

2.5. 唯一可以確定的方法就是先構建它，然後（在取得了突破之後）看看會發生什麼

2.5.1. 它將穿越時間，吸收大量資訊，並透過大規模觀察和推理來了解世界的狀態

3. 超級智慧機器

3.1. 該實體需要大量固定的計算資源

3.2. 為超級智慧機器的能力提供了一個有用的下限，即一個悲觀的估計

3.2.1. 智慧系統的這種多智慧體合作設計只是機器的可能能力的下限，因為還有其他更好的設計

3.3. 我們建立機器的n個軟體副本，並且用與連線n個人相同的方式（使用相同的資訊和控制流）來連線它們

3.4. 機器不需要這種分隔，分隔通常會阻礙各個點之間的連線

3.4.1. 作為科學發現互相分隔的一個例子，簡單地瞭解一下青黴素的悠久歷史會讓人大開眼界

3.5. 人類可以在一週內閱讀並理解一本書，而機器可以在幾個小時內閱讀並理解人類寫過的全部1.5億本書

3.6. 機器的推理能力將使它具有更強的能力來檢測科學理論之間、理論與觀測之間的不一致

3.6.1. 我們可能已經有了足夠的生物學實驗證據來設計治療癌症的方法，只不過我們還沒有把它們整合在一起

3.7. 另一種不同的擴充來自機器擁有比人類更準確的展望未來的能力

3.8. 制定防止全球變暖的政策

3.8.1. 地球系統建模需要利用

3.8.1.1. 物理學（大氣、海洋

3.8.1.2. 化學（碳迴圈、土壤）

3.8.1.3. 化學（碳迴圈、土壤）

3.8.1.4. 生物學（分解、遷移）

3.8.1.5. 工程學（可再生能源、碳捕獲）

3.8.1.6. 經濟學（工業、能源利用）

3.8.1.7. 人性（愚蠢、貪婪）

3.8.1.8. 政治學（更愚蠢、更貪婪）

3.8.2. 機器將能夠獲得大量的證據來支援所有這些模型

3.8.3. 它能夠建議或進行新的實驗和探索，以減少不可避免的不確定性

4. 超級智慧的侷限

4.1. 一個常見的錯誤是人們傾向於認為超級人工智慧系統擁有無所不知的神聖力量

4.1.1. 不僅擁有現在的，而且擁有未來的完整和完美的知識

4.2. 預測成功與否取決於是否有正確的抽象

4.2.1. 我可以預測“我”將在4月的最後一個星期二在伯克利校園的惠勒禮堂上臺演講

4.2.2. 我無法預測自己精確到毫米的位置，也無法預測那時我的身體中將包含哪些碳原子

4.3. 機器還受到現實世界對新知識獲取速度的限制，這是凱文·凱利（Kevin Kelly）在關於超人類人工智慧的過度簡化預測的文章中提出的有效觀點之一

4.4. 雖然在經驗科學中，由機器瞬間產生科學發現是不可能的，但我們可以期待，在機器的幫助下，科學的發展速度將會更快

4.5. 機器的最後一個侷限在於它們不是人類

4.5.1. 這使它們在試圖模擬和預測人類這種特定的物件時存在固有的劣勢

4.5.2. 機器對人類的理解幾乎是從零開始的

4.5.2.1. 它們只能觸及我們的外部行為，以及所有的神經科學和心理學文獻，並且必須在此基礎上理解我們是如何工作的

4.5.2.2. 原則上，它們將能夠做到這一點，但我們有理由認為，它們達到或超越人類的理解水平將比習得其他大多數能力花費更長的時間

5. 如何造福人類

5.1. 我們的智慧對我們的文明負責

5.1.1. 有了獲得更強大智慧的途徑，我們便可以擁有一個更偉大的，也許是更好的文明

5.2. 無人駕駛汽車和自動運營的礦山需要在研究、機械設計、軟體工程和測試方面投入大量資金，用於開發必要的演算法，並確保它們按預期執行

5.3. 通用人工智慧是“一切即服務”（Everything-as-a-Service，EaaS）

5.3.1. 通用人工智慧的所有化身將會獲得人類的所有知識和技能，而且還不只是這樣

5.3.2. 唯一的區別在於實體能力

5.3.2.1. 用於造建築或做手術的四肢靈巧的機器人

5.3.2.2. 用於大規模貨物運輸的輪式機器人

5.3.2.3. 用於空中檢查的四軸飛行器機器人

5.4. 歷史已經表明，在沒有人工智慧的情況下，全球人均GDP增長近10倍是可能的，只是人們最終實現這一增長花了190年（從1820年到2010年）

5.4.1. 這需要工廠、機床、自動化、鐵路、鋼鐵、汽車、飛機、電力、石油和天然氣生產、電話、廣播、電視、計算機、網際網路、衛星和許多其他革命性發明的發展

5.5. 對藝術和智力的追求，無論是個人的還是集體的，都將成為生活中正常的一部分，而不是稀有的奢侈品

5.6. 對人類心理學和神經化學的更深入的瞭解會廣泛改善心理健康

5.7. 人工智慧可以為VR（虛擬現實）提供更加高效的創作工具，並且可以用更有趣的實體填充VR環境

5.8. 在日常生活的平凡世界裡，一個聰明的助手和嚮導（如果設計得好，不受經濟和政治利益的影響）能夠使每個人在一個日益複雜的、有時充滿敵意的經濟和政治體系中有效地代表自己行事

5.9. 這些發展合在一起可能會改變歷史，至少改變由群體內部和群體之間為獲得生活必需品而發生的衝突所驅動的那部分歷史

5.10. 如果餡餅本質上是無限的，那麼你與他人爭奪更大的份額就沒有意義了

5.10.1. 普通人永遠不能期望消費超過普通人的產出

5.10.2. 這就像是為了得到更多的電子版報紙而爭吵一樣，當任何人都可以免費製作任意數量的數字副本時，爭吵就完全沒有意義了

5.11. 人工智慧可以提供的功能是受限的

5.11.1. 土地和原材料並不是無限的，因此人口不可能無限增長，也不可能每個人都在私人公園裡擁有豪宅

5.12. 驕傲也是受限的

5.12.1. 在給定的所有指標中，只有1%的人可以排在前1%

5.12.2. 如果躋身前1%才能感到幸福，那麼99%的人就不會幸福，即使那些處在前1%末尾的人也擁有客觀上美好的生活方式

5.12.3. 對我們的文化而言，逐漸淡化驕傲和嫉妒是感知自我價值的重要因素，這一點很重要

5.13. 人工智慧的成功將催生“一條文明軌跡，實現富有同情心地使用人類被賦予的宇宙資源的文明的進步”

5.13.1. 尼克·波斯特洛姆（Nick Bostrom）的《超級智慧》

5.13.2. 如果我們不能充分利用人工智慧的優勢，那麼我們只能怪自己