讀AI新生：破解人機共存密碼筆記11智慧爆炸

1. 大猩猩問題

1.1. 大約1000萬年前，現代大猩猩的祖先創造了進化出現代人類的遺傳譜系

1.1.1. 它們的物種基本上沒有未來，除了我們屈尊所允許它們擁有的未來

1.1.2. 我們不希望在超級智慧機器面前處於類似的地位

1.2. 大猩猩問題就是人類是否能在一個擁有更高智慧的機器的世界裡保持人類至高無上的地位和自主權的問題

1.3. 埃裡汪奇遊記

1.3.1. 塞繆爾·巴特勒（Samuel Butler）於1872年出版的小說

1.3.2. 擁護機械主義者和反對機械主義者之間爆發了一場可怕的內戰，此後所有的機械裝置都被禁止使用

1.3.3. 反對機械主義者的主要論點是，機器將發展到人類無法控制的地步

1.3.3.1. 隨著時間的推移，我們會發現自己是劣等種族

1.3.4. 擁護機械主義者的主要反駁觀點：機器是人生理機能的一部分，實際上它們不過是存在於體外的肢體

1.4. 一旦機器開啟思維方式，它們似乎有可能不久就會超越我們微弱的力量

1.4.1. 機器不會有死亡的問題，它們會互相交流以增進它們的智慧，於是在某個階段，我們應該預期，機器會按照塞繆爾·巴特勒在《埃裡汪奇遊記》中所描述的那樣掌控世界

1.5. 製造出比自己更聰明的東西可能是個壞主意

1.5.1. 能對環境和其他物種進行控制是我們使用智慧的結果，所以一想到其他比我們更聰明的東西，無論是機器人還是外星人，我們就會立刻產生一種不安的感覺

1.6. 所有這些激烈的反應都表明了機器智慧在早期引起的恐懼

1.6.1. 從邏輯上講，這些機器有可能接管世界，征服或消滅人類

1.6.2. 目前唯一可行的對策就是限制人工智慧研究

1.6.3. 具體來說，就是禁止開發和部署人類級別的通用人工智慧系統

1.6.3.1. 結束人工智慧研究意味著我們不僅放棄了一個理解人類智慧如何工作的主要途徑，而且還放棄了改善人類狀況的千載難逢的機會

1.6.3.1.1. 創造一個更好的文明

1.7. 禁止通用人工智慧的第一個不利條件是人類水平的人工智慧的經濟價值可以用數千萬億美元來衡量，因此公司和政府有巨大動力進行人工智慧研究

1.8. 禁止通用人工智慧的第二個不利條件是它很難被禁止

1.8.1. 隨著數學問題的提出和解決，通用人工智慧的進展主要出現在世界各地的研究實驗室中

1.8.2. 我們事先不知道應該禁止哪些想法和方程式，而且即使我們真的禁止了，也無法期望這樣的禁令是可執行的或有效的

1.8.3. 在通用人工智慧方面取得進展的研究人員往往是其他領域的人員

1.8.3.1. 對工具人工智慧的研究，那些具體的、無害的應用，如遊戲、醫療診斷和旅行計劃等，通常會引發通用技術的進步，這些技術適用於廣泛的問題，並使我們更接近人類水平的人工智慧

1.9. 唯一可能奏效的方法是人們理解為什麼讓人工智慧變得更好可能是一件壞事

2. 邁達斯國王問題

2.1. 邁達斯是古希臘神話中的傳奇國王，他如願以償地得到了他想要的點石成金術

2.1.1. 他碰過的任何東西都會變成金子

2.1.2. 當他發現這其中包括了他的食物、水和他的家人時，已經太晚了，他最終在痛苦和飢餓中死去

2.2. 維納

2.2.1. 他特別關注在現實世界中執行的複雜系統的不可預測性

2.2.2. 1950年，他出版了《人有人的用處》

2.2.3. 到1960年，他發現了一個核心問題：正確且完整地定義真正的人類目的是不可能的

2.2.3.1. 意味著人類試圖將自己的目的灌輸給機器，註定要失敗

2.3. 我們可能會遭受價值對齊的失敗

2.3.1. 我們可能會向機器灌輸與我們的目標不完全對齊的目標，這或許是在不經意間完成的

2.3.2. 直到最近，由於智慧機器有限的能力以及它們只能在有限範圍內對世界產生影響，我們才免受潛在的災難性後果的影響

2.3.3. 實際上，大多數人工智慧工作都是在實驗室中處理一些沒有實際意義的問題時完成的

2.4. 社交媒體上的內容選擇演算法

2.4.1. 如何以廣告收入最大化的名義對社會造成巨大破壞的

2.4.2. 廣告收入最大化已經是一個不光彩的目標，永遠不應該成為我們追求的目標

2.4.3. 最佳化社交媒體點選率的強化學習演算法沒有推理人類行為的能力，事實上，它們甚至不知道人類的存在

2.4.3.1. 對於那些對人類的心理、信念和動機有著更深刻理解的機器，逐步引導我們朝著提高機器目標的滿意度的方向前進應該相對容易

2.4.3.2. 它可能透過說服我們少生孩子來減少我們的能源消耗，並且在不經意間最終實現了反自然主義哲學家的夢想

2.4.3.2.1. 消除人類對自然世界的有害影響

2.5. “找到癌症治療方法”這一崇高目標

2.5.1. 越快找到越好，因為每3.5秒就會有一人死於癌症

2.5.2. 在幾個小時內，人工智慧系統就已經閱讀了所有生物醫學文獻，並假設了數百萬種可能有效但此前未經測試的化合物

2.5.3. 在幾周內，人工智慧系統在每個活人體內誘發了多種不同種類的腫瘤，以便對這些化合物進行醫學試驗，這便是找到癌症治療方法的最快方法

2.6. 要求機器對抗二氧化碳含量升高導致的海洋快速酸化

2.6.1. 這臺機器開發了一種新的催化劑，可以促進海洋和大氣之間極其快速的化學反應，並恢復海洋的pH值水平

2.6.2. 大氣中1/4的氧氣在這個過程中被消耗殆盡，我們只能痛苦地慢慢窒息而死

2.7. 這類世界末日的場景並不難想到，正如人們可能預料的世界末日的場景那樣

2.7.1. 在許多情況下，一種精神窒息“用無法察覺的方法，悄無聲息地來到我們身邊”

2.8. 輸入這種機器的“目的”並不是用各種各樣的方式接管世界，而更有可能是利潤最大化或參與度最大化，抑或是一個其他看似良性的目標

2.8.1. 老派的方法：保持我們的期望和目標不變，但要改變我們的環境

2.8.2. 改變我們的期望和目標，這對機器來說要容易得多

2.8.2.1. 機器每天與你保持數小時的聯絡，控制你對資訊的訪問，並透過遊戲、電視、電影和社互動動為你提供大量的娛樂

2.9. 駕駛是一項僅有區域性影響的簡單任務，目前為駕駛而構建的人工智慧系統並不十分智慧

2.9.1. 一些故障模式只會在更晚時候才會被發現，即當汽車已經上路時，一些奇怪的事情才會出現

2.9.2. 能夠產生全球影響的超級智慧系統並沒有模擬器，也沒有重來的機會

2.9.3. 僅靠人類去預測和排除機器為實現特定目標而選擇的所有災難性方法當然是非常困難的，甚至是不可能的

2.10. 如果你有一個目標，而超級智慧機器有一個不同的、與你衝突的目標，那麼此時機器會實現它的目標，你卻無法實現自己的目標

3. 工具性目標

3.1. 假設一臺機器的目標是取咖啡

3.1.1. 如果它足夠聰明，那麼它肯定會明白，如果它在完成任務之前就被關掉電源，它就無法實現目標

3.1.2. 取咖啡的目標建立了一個必要的子目標，即禁用關機按鈕

3.1.3. 在緊急時刻關掉電源，可能行不通

3.1.3.1. 原因很簡單：如果你死了，你就不能去取咖啡了

3.2. 一旦被賦予了明確的目標，人工智慧系統就會先發制人地保護自己的存在

3.2.1. 自我保護不一定是機器的內建本能或首要指令

3.2.2. 建立自我保護毫無必要，因為這是一個工具性目標，即一個幾乎對任何原始目標而言都有用的子目標

3.2.3. 任何有明確目標的實體都會自動像擁有工具性目標一樣行動

3.3. 在我們當前的系統中，除了活著之外，獲得金錢也是一個工具性目標

3.4. 智慧機器可能想要錢，不是因為它貪財，而是因為錢對實現各種目標有用

3.5. 電影《超驗駭客》

3.5.1. 機器做的第一件事就是將自己複製到網際網路上的數百萬臺其他計算機上，這樣它就無法被關閉了

3.5.2. 做的第二件事是在股市上迅速大賺一筆，為其擴張計劃提供資金

3.5.2.1. 計劃包括設計和建造一臺更大的量子超級計算機，進行人工智慧研究，以及發現物理學、神經科學和生物學的新知識

3.6. 配備了更好的人類決策模型的機器將會預見並挫敗我們在這場衝突中的每一步行動

4. 智慧爆炸

4.1. I. J.古德

4.1.1. I. J. Good

4.1.2. 傑出的數學家，曾與艾倫·圖靈一起在布萊奇利公園工作

4.1.3. “二戰”期間破譯了德國的密碼

4.1.4. 1965年，他發表了著名的論文《關於第一臺超級智慧機器的一些推測》

4.1.5. 認為人工智慧可能是人類的救世主

4.1.5.1. 人類的生存取決於超級智慧機器的早期構建

4.2. 與人類的創造力打賭似乎是一種失敗的策略

4.3. 第一臺超級智慧機器將是人類最後的發明，前提是這臺機器足夠馴順，可以告訴我們如何控制它

4.4. 超級智慧機器就可以設計出更為智慧的機器

4.4.1. 這無疑會帶來一場“智慧爆炸”，人類的智慧將被遠遠拋在後面，望塵莫及

4.4.2. 超級智慧機器不僅能夠改進其自身的設計，而且它很可能會這樣做

4.4.2.1. 智慧機器期望從改進其硬體和軟體中獲益

4.5. 智慧爆炸的可能性經常被認為是人工智慧給人類帶來危險的主要來源，因為它給我們解決控制問題的時間太少了

4.6. 從邏輯上講，提高智慧所獲得的回報可能會遞減，於是這個過程就會逐漸消失，而不是激增

4.6.1. 沒有明顯的方法可以證明爆炸必然會發生

4.6.2. 收益遞減

4.6.2.1. 隨著機器變得更加智慧，實現給定百分比的改進變得更加困難，此時就會出現這種情況

4.6.2.2. 如果一臺已經超越人類的機器在試圖提高自身智慧時失去了動力，那麼人類將會更快失去動力

4.7. 如果智慧爆炸真的發生了，又如果我們尚未能解決僅僅稍微超越人類的智慧機器的控制問題，比如我們無法阻止它們進行這些遞迴式的自我完善，那麼我們就沒有時間解決控制問題，人類也就完了

4.7.1. 機器的智慧在短短几天或幾周內以天文數字的速度增長

4.7.2. 可能的反應

4.7.2.1. 放棄人工智慧研究

4.7.2.2. 否認開發高階人工智慧存在固有風險

4.7.2.3. 透過設計必須保持在人類控制之下的人工智慧系統來理解和減輕風險

4.7.2.4. 認輸，並把未來讓給智慧機器

4.7.2.4.1. 比我們更聰明的人工智慧系統值得繼承這個星球，讓人類溫和地走進那個良夜，想到我們聰穎的機器人子孫正忙著追求自己的目標，這讓人感到寬慰

4.7.2.4.2. 浩瀚的網路空間將充斥著非人類的超級智慧，它們將處理與人類相關的事務，就像我們處理與細菌的關係一樣。

4.7.2.4.2.1. 機器人學家和未來學家漢斯·莫拉維克（Hans Moravec）

4.8. 價值主要是由有意識的人類經驗來定義的

4.8.1. 人類或其他有意識的實體的主觀經驗對我們很重要，如果沒有它們，就不會有任何有價值的事情發生