讀AI新生：破解人機共存密碼筆記12人工智慧辯論

1. 言論

1.1. 對一個人終身職業的威脅，可能會使一個非常聰明的、通常很有思想的人說出一些話，但在進一步分析後，他們很可能希望收回這些話

1.2. 電子計算器在算術方面是“超人”，但是計算器並沒有接管世界，因此，我們沒有理由擔心會產生超越人類的人工智慧

1.2.1. 智慧不同於算術，計算器的算術能力並不能讓它們接管世界

1.3. 馬有超越人的力量，但是我們不用擔心馬對我們來說是否安全，因此我們不必擔心人工智慧系統是否安全

1.3.1. 智慧不同於體力，馬的體力強並不能讓它們接管世界

1.4. 歷史上沒有出現過任何機器殺死數百萬人的例子，因此，我們可以得出結論：這在未來也是不可能發生的

1.4.1. 凡事都有第一次，在第一次發生之前，任何事情都是亙古未有的

1.5. 宇宙中沒有任何一個物理量是無限的，包括智慧，所以人們對超級智慧的擔憂被誇大了

1.5.1. 超級智慧並不需要是無限的才會產生問題，物理學允許計算裝置比人腦強大幾十億倍

1.6. 我們並不擔心物種滅絕，這就像黑洞在近地軌道上出現一樣不太可能發生，那麼我們為什麼要擔心超級人工智慧呢？

1.6.1. 如果地球上大多數物理學家都在努力製造這樣的黑洞，我們難道不問他們這樣做是否安全嗎？

2. 人工智慧界

2.1. 現代心理學的一個主要觀點是，單憑一個智商測試分數無法描述人類智力的全部豐富性

2.1.1. 該理論認為，智力有不同的維度：空間的、邏輯的、語言的、社會的等

2.2. 將未來描述為人類和機器之間的一維智商競賽是具有誤導性的

2.2.1. 智慧不是單一的維度，因此‘比人類更聰明’是一個毫無意義的概念

2.3. 一種明顯的響應是，機器在智慧的所有相關方面都可能超越人類的能力

2.3.1. 黑猩猩可能擁有比人類更好的短期記憶能力，即使是在回憶數字序列這種面向人的任務中，黑猩猩也強於人類

2.4. AI100

2.4.1. 人工智慧百年研究是史丹佛大學的一個雄心勃勃的長期專案

2.4.2. 它的目標是追蹤人工智慧的進展，或者更準確地說，是“研究和預測人工智慧的影響將如何波及人們工作、生活和娛樂的方方面面”

2.4.3. 它強調人工智慧在醫療診斷和汽車安全等領域的優勢

2.4.4. 它認為“與電影不同，超人類機器人種族在可預見的未來世界裡不會出現，甚至永遠不可能出現”

2.4.4.1. 這是嚴肅的人工智慧研究人員第一次公開支援這樣一種觀點，即人類水平或超越人類水平的人工智慧是不可能出現的，這一觀點出現在人工智慧研究飛速發展的時期，當一個又一個障礙被突破之時

2.4.5. 沒有理由擔心人工智慧對人類構成迫在眉睫的威脅

2.4.5.1. 這是稻草人謬誤，即在論辯中有意或無意地曲解對方的論點以便能夠更容易地攻擊對方

2.4.5.1.1. 人工智慧令人擔憂並不是因為迫在眉睫

2.4.5.2. 對人類來說，擔心一個潛在的嚴重問題的恰當時間，不僅取決於問題何時出現，還取決於準備和實施解決方案需要多長時間

2.4.5.2.1. 超人類人工智慧的相關時間尺度很難預測，但當然，這意味著它可能會像核裂變一樣，來的比預期早得多

2.5. 人們用“人工智慧永遠不會成功實現其目標”這種說法來為人工智慧辯護

2.5.1. 我們不能簡單地靠押寶人類的聰明才智來確保未來的災難不會發生

2.5.2. 20世紀30年代早期，以盧瑟福男爵為代表的物理學機構自信地認為提取原子能是不可能的事情。然而，他的這種自信被利奧·西拉德在1933年發現中子誘發的鏈式核反應證明是錯誤的

2.6. 我們已經投入了大量的科技資源來創造更強大的人工智慧系統，卻很少考慮如果我們成功了會發生什麼

2.6.1. 即使只有一個人登上火星也會造成人口過剩，因為火星的承載能力為零

2.6.2. 目前計劃將少數人送上火星的團體確實擔心火星上出現人口過剩，這就是為什麼他們正在開發生命維持系統

2.7. 禁止人工智慧研究是不可能的

2.7.1. 解決方案不是阻止超級人工智慧或找到戰勝它的方法，而是確保它從一開始就不與人類發生衝突

2.7.2. 通常不會提議限制人工智慧研究，他們只是建議注意防止設計不良系統所帶來的後果

2.7.2.1. 人們對核電站的安全殼失效風險的討論不應被解釋為人們試圖禁止核物理研究，而應被解釋為一種建議，即把更多的工作放在解決安全殼問題上

2.7.3. 還沒有人提出以任何合理的形式來限制人工智慧研究

2.8. 專家

2.8.1. 所有對風險的擔憂都源於無知

2.8.2. 不知道新技術會對我們的自我意識和生計產生什麼影響

2.8.2.1. 當我們一無所知的時候，我們恐懼的頭腦會填充細節

2.8.3. 人工智慧研究人員，包括該領域的一些領導者，從一開始就在提出有關人工智慧的風險和超級智慧的問題方面發揮了重要作用

2.8.4. 安全文化恰恰是由人們指出可能的故障模式，並找到確保故障不會發生的方法組成的

2.8.4.1. 在試圖向公眾和決策者描述風險時，人工智慧研究人員與核物理學家相比處於劣勢

3. 盧德主義

3.1. 盧德主義分子是19世紀初的手工織布工，他們抗議引進機器來代替他們的熟練勞動力

3.2. 2015年，資訊科技與創新基金會將年度盧德分子獎頒給了“鼓吹人工智慧末日的危言聳聽者”

3.2.1. 對這群“盧德分子”的定義很奇怪，名單中圖靈、維納、明斯基、馬斯克和蓋茨都榜上有名，而他們都是20世紀和21世紀最傑出的技術進步貢獻者

3.3. 對盧德主義的指控代表了人們對“所提出的問題的性質”和“提出這些問題的目的”的誤解

4. 詭辯主義

4.1. 悲觀的預測往往沒有考慮人工智慧在防止醫療失誤、減少車禍等方面的潛在好處

4.2. 如果人工智慧沒有潛在的好處，那麼人工智慧研究就不會有任何經濟或社會動力，因此也就不會有出現達到人類水平的人工智慧的危險

4.3. 如果不能成功降低風險，人們就不會得到任何好處

4.3.1. 1979年美國三里島核電站部分堆芯熔燬

4.3.2. 1986年切爾諾貝利核電站失控的反應和災難性的洩漏

4.3.3. 2011年福島核電站的多次熔燬

4.3.4. 大大降低了核能的潛在效益

4.3.5. 義大利在1990年放棄了核能，比利時、德國、西班牙和瑞士也宣佈了類似的計劃

4.3.6. 自1990年以來，全球核電站的裝置利用率大約是切爾諾貝利事故之前的10%

5. 部落主義

5.1. 擁護機械主義者認為，機器統治的風險很小或根本不存在

5.2. 反對機械主義者認為機器是不可戰勝的，除非所有機器都被摧毀

5.3. 爭論變成了部落式的，沒有人試圖解決“如何保持人類對機器的控制”這一根本問題

5.4. 20世紀的所有主要技術問題——核能、轉基因生物和化石燃料，在不同程度上都屈從於部落主義

5.4.1. 每個問題都有贊成和反對兩個方面

5.4.2. 每個部落的動態和結局都不同，但是部落主義的症狀是相似的

5.4.2.1. 相互不信任和詆譭、非理性地爭論、拒絕承認任何可能有利於另一個部落的（合理）論點

5.4.3. 只有最偏激的聲音：那些最不可能被對方聽取的聲音，才能代表每個部落

5.5. 有關人工智慧的辯論正面臨部落化，即建立支援人工智慧和反對人工智慧兩大陣營的危險

5.6. 人工智慧研究者想要證明大猩猩問題不存在的自然願望，這對他們而言是一個非常令人不安的前景

5.7. 部落習性，即人們本能地對可能“攻擊”人工智慧的東西嚴陣以待

6. 正交性理論

6.1. 智慧和最終目標是正交的：原則上，幾乎任何水平的智慧都能與幾乎任何最終目標相結合

6.2. 正交的意思是“成直角”，即智慧程度是定義智慧系統的一個軸，而目標是另一個軸，我們可以獨立地改變它們

6.3. 強化學習系統和其他型別的獎勵最佳化器的工作原理：演算法是完全通用的，可以接受任意獎勵信

6.4. 正交性理論只是一個給定事實

7. 不能？

7.1. 一個超級智慧實體會事先想到這種可能性，並採取措施來阻止它

7.1.1. 它這樣做不是因為它想要生存，而是因為它在追求我們賦予它的任意目標，並且知道如果自己被關閉，這個目標就無法達成

7.2. 區塊鏈是基於加密的高度分散式的計算和記錄儲存形式，它經過專門設計，使得一個人在不控制大量機器並解開鏈的情況下，基本上不能刪除任何資料，也不能終止任何智慧契約，而這又可能會破壞網際網路或金融系統的很大一部分

7.3. Oracle AI系統可以是任意智慧的，但對每個問題只能回答是或否（或給出相應的機率）

7.3.1. 該系統將至少像我們理解自己的世界一樣，孜孜不倦地理解它的物理性質和起源，包括它的計算資源、工作原理，以及製作了它的資訊庫並正在提問的神秘實

7.3.2. 如果Oracle AI系統的目標是在合理的時間內為問題提供準確的答案，那麼它就會有動力衝出牢籠，獲取更多的計算資源，並控制提問者，讓他們只問簡單的問題

7.3.3. 我們還沒有發明出一種針對普通人的安全防火牆，更不用說針對超級智慧機器的安全防火牆了

7.3.4. Oracle AI系統限制為可證明的合理邏輯或貝葉斯計算器

7.3.5. 超級智慧的Oracle AI系統仍然價值數萬億美元，因此開發人員可能願意接受這個限制

7.3.6. 控制Oracle AI系統肯定比控制通用智慧體更容易，所以我們在10年內解決這個問題的機會更大

7.4. 在企業界，一種普遍的看法是，人工智慧不會對就業或人類構成威脅，因為我們只有人機協作團隊

7.4.1. 其目的是粉飾從其公司中剔除人類員工的過程

7.4.2. 強調問題並不等於解決問題

7.5. 最極端的情況是，人機協作變成了人機融合，電子硬體直接連線到大腦，成為一個單一的、可擴充套件的、有意識的實體的一部分

7.5.1. 如果我們實現了緊密的共生，人工智慧就不會是“他者”，它將會是你，它將會與你的大腦皮層產生一種類似於你的大腦皮層與邊緣系統的關係

7.5.2. 難以將電子裝置連線到腦組織，為腦組織供電，並將其連線到外部世界

7.5.3. 事實上，我們對大腦中實現更高層次認知的神經幾乎一無所知，所以我們不知道應該把裝置連線到哪裡，更不知道應該如何處理

7.5.3.1. 大腦本身具有非凡的適應能力

7.5.3.2. 大腦為我們做了大部分工作

7.5.3.2.1. 它很快就學會了如何讓機器手臂做主人想做的事情，以及如何將人工耳蝸的輸出對映成可理解的聲音

7.5.4. 事實上，我們對大腦中實現更高層次認知的神經幾乎一無所知，所以我們不知道應該把裝置連線到哪裡，更不知道應該如何處理

7.5.4.1. 大腦本身具有非凡的適應能力

7.5.4.2. 大腦為我們做了大部分工作

7.5.4.2.1. 它很快就學會了如何讓機器手臂做主人想做的事情，以及如何將人工耳蝸的輸出對映成可理解的聲音

7.5.5. 如果人類僅僅為了擺脫自身技術的威脅而需要進行腦外科手術，那麼我們或許已經在某個環節犯了錯誤

7.6. 一個常見的推理思路是，有問題的人工智慧行為是由我們輸入了特定種類的目標而引起的

7.6.1. 如果刪掉這些目標，一切都會好的

7.6.2. 對機器而言，死亡本身並不是什麼壞事

7.6.2.1. 死亡還是要避免的，因為“如果你死了，你就很難去取咖啡了”

7.6.3. 更極端的解決方案是避免將目標全部輸入機器中

7.6.3.1. 沒有目標，就沒有智慧：任何行動都是好的，機器可能變得和隨機數生成器一樣

7.6.3.2. 沒有目標，機器就沒有理由喜歡人類的天堂勝過一個堆滿回形針的星球

7.7. 機器執行的最佳計劃很可能會給人類帶來問題，而機器很可能也意識到了這一點

7.7.1. 機器意識到的相互衝突的目標並不構成人類關注的全部

7.7.2. 在標準模型中，機器必須關心它沒有被告知要關心的目標

7.8. 如果我們構建機器來最佳化目標，那麼我們輸入機器的目標必須符合我們想要的目標，但我們不知道如何完全正確地定義人類目標