讀寫給大家的AI極簡史筆記06超智慧

1. HAL

1.1. 斯坦利·庫布里克（Stanley Kubrick）的電影《2001：太空漫遊》（2001：A Space Odyssey）

1.2. 人類創造了一個人造助手為其服務

1.2.1. 助手卻學會了如何學習，從而超越了它的創造者，最終發展出了自己的興趣，還制定了自己的目標

1.2.2. “傀儡”不再受控制

1.3. 尼克·博斯特羅姆

1.3.1. Nick Bostrom

1.3.2. 牛津大學哲學教授

1.3.3. 暢銷書《超智慧》（Superintelligence）

1.3.3.1. 描述了人工智慧系統一旦超過人類的認知能力就會變成du立個體的場景

1.3.3.2. 機器人要想獲得du立，至少需要幾十年，甚至幾個世紀

1.3.3.3. 在這漫長的過程中，人類卻可以在社會和文化上適應這個新的智慧物種

1.4. “智慧大爆炸”（intelligence explosion）的可能性更大

1.4.1. 一旦機器比人類更聰明，它們就可以在幾個月內，甚至在幾分鐘內創造出更智慧的自己，並不斷升級

1.4.2. 反饋迴路可能導致人工智慧的智力呈指數式增長

1.4.3. “能決定世界秩序的最高決策層只有一個代理人”

1.5. 人工智慧“比核武器更危險”

1.5.1. 特斯拉（Tesla）的創始人伊隆·馬斯克（Elon Musk）

2. 超人類主義

2.1. 啟示論者和烏托邦分子因為對弱人工智慧的實際發展過程和困難的無知而一再陷入過時的對強人工智慧的恐懼

2.1.1. 事實上，讓我們恐懼的理由並不多

2.2. 目前並沒有導向智慧大爆炸的清晰的道路

2.2.1. 發生智慧大爆炸的一個技術前提是計算效能的指數增長，同時伴隨著計算機晶片的持續變小

2.2.2. 在到達某個臨界點後，量子力學定律開始起作用，粒子會變得混亂，並從一個傳導路徑跳到另一個傳導路徑

2.3. 朱利安·奈達·魯梅林

2.3.1. Julian Nida-Rümelin

2.3.2. 邏輯學家和哲學家

2.3.3. 哥德爾（Gödel）的不完全性定理（incompleteness theorems）定義了機器智慧的極限

2.3.4. 可以從數學上證明，許多問題在邏輯上無法解決，形式系統中的語句的推導是有極限的

2.3.4.1. 意味著總是存在一些既不能被證明也不能被證偽的陳述和問題

2.3.4.2. 沒有任何一臺靠數學解決問題的機器能夠超越這些邏輯邊界

2.4. DeepMind正在研究內建斷路器在未來如何避免系統走上自我解放的道路

2.5. 沒有人知道計算機在幾百年後能發展到什麼程度

2.5.1. 過度鼓吹超級智慧會滅絕人類的假想可能會產生不必要的副作用

2.5.2. 它將會分散我們的注意力，讓我們忽略弱人工智慧快速發展所帶來的真正危險

2.5.3. 最重要的危險可以概括為三類：資料壟斷、操縱人類個體和正文腐濫用資料

3. 資料壟斷

3.1. 卡爾·馬克思（Karl Marx）告訴我們資本主義傾向於市場集中化

3.2. 反壟斷法

3.2.1. 來防止壟斷

3.3. 數字平臺運營商已經成功地佔領了鐵路巨頭、汽車製造商和披薩生產商望塵莫及的市場份額

3.3.1. 數字服務的客戶越多，網路效應就使得服務質量越高

3.3.2. 家國反壟斷法、歐洲反壟斷法對此束手無策

3.4. 沒有競爭，市場經濟就不可能維持長期繁榮，因為這與它的本質相矛盾

3.5. 資料是人工智慧的原材料

3.5.1. 只有當這種原材料能被各家公司所用，公司之間的競爭才會成為可能，我們才能確保人工智慧系統的長期多樣性

4. 操縱人類個體

4.1. 虛擬助手的行為代表著誰的利益？

4.1.1. 大多數機器人和數字助手都是變相的銷售人員

4.2. Alexa的開發和運營商是亞馬遜，而不是一家代表消費者在所有線上商店中尋找最佳商品的初創公司

4.2.1. 只要它是透明的，只要我們沒有被暗中利用，它就是合法的

4.3. 當世界上有無數個人工智慧助手以後，我們很快就會搞不清楚誰有可能愚弄我們

4.4. 我們無法確切地知道是誰在給我們提供建議

4.4.1. 在很多情況下，我們甚至會支付額外的費用，讓這些科技“保姆”寵溺我們

4.5. 考慮在機器把人類“嬰兒化”的程序中劃上一條底線

4.5.1. 我們要為技術剝奪我們的權利承擔起責任

4.5.2. 家國和市場需要確保消費者能選擇中立的機器人，就像du立於供應商的價格比對引擎那樣

4.5.3. 需要有一系列批准程式，應該叫停不公平操縱甚至欺詐使用者的代理商

4.5.4. 所有這些的前提是一個法治家國，而且這個家國本身不使用人工智慧來欺騙它的弓民

5. 數字磚掙

5.1. 正文腐濫用弱人工智慧對弓民進行大規模操縱、監視和鎮壓

5.1.1. 米國將監控攝像機和自動面部識別結合起來，就能知道誰闖了紅燈

5.1.2. 無人駕駛飛機上的監視攝像機可以直接追蹤流浪者

5.1.3. 電子竊聽裝置中的語音識別功能不僅可以識別誰在說話，還可以確定說話人的情緒狀態

5.1.4. 來自智慧手機的位置資訊和健康資料、應用內購買歷史和信用歷史、數字化人事檔案和實時犯罪記錄提供了計算弓民信譽所需的所有資訊，當然這也為秘密敬嚓高效開展工作提供了方便

5.1.5. 這個全能的家國自然也有社交機器人來散播個性化的正文治資訊

5.2. 人工智慧甚至可以從照片中識別出性偏好，而且準確率很高

5.3. 社交媒體和線上聊天應用的自動文字分析系統可以實時識別危險的想法

5.4. 數字工具不是暴正文所必需的——歷史已經證明了這一點

5.4.1. 在智慧機器時代，壓迫人名的問題又被提上議程

5.4.2. 精通科技的正文權正在為du裁製作新衣

5.4.3. 在人工智慧驅動的du裁統治中，壓迫比穿制服的土兵或敬嚓更微妙

5.4.4. 資料會告訴正文腐如何推動弓民做出家國所期望的行為

6. 新機器倫理

6.1. 不需要害怕人工智慧會變成sha人狂，而是應該更害怕濫用

6.2. 人的尊嚴是神聖不可侵犯的

6.2.1. 在戰爭中，如果一個將軍犧牲5名土兵就能救出10個人，那他是可以做這樣的決定的

6.2.2. 但理論上，沒有人會被允許在日常生活中這樣做

6.3. 在許多情況下，決策的自動化也是倫理挑戰，但同時從道德層面看，它是勢在必行的

6.4. 如果我們能夠用機器識別癌細胞的模式，從而挽救許多癌症患者的生命，我們就不能讓醫生遊說團體阻礙了前進的步伐，因為醫生遊說團體關心的是如何保護他們的收入

6.5. 人工智慧的確改變了人類和機器之間的基本關係，但比一些人工智慧開發者認為的要少

6.5.1. 人類仍然需要做出重要的決定，包括需要多少機器輔助才恰到好處

6.6. 人類的歷史是人類決策的總和

6.7. 數字革命讓我們在歷史上第一次將這種人文主義理想付諸實踐——透過智慧地運用人工智慧，為人類造福