因圖靈測試而認識圖靈社群（知道圖靈測試後對未來人工智慧侃侃而談）2

文章的第一部分討論了已經在我們日常生活中隨處可見的弱人工智慧，然後討論了為什麼從弱人工智慧到強人工智慧是個很大的挑戰，然後我們談到了為什麼技術進步的指數級增長表面強人工智慧可能並不那麼遙遠。第一部分的結束，我們談到了一旦機器達到了人類級別的智慧，我們將見到如下的場景：

這讓我們無所適從，尤其考慮到超人工智慧可能會發生在我們有生之年，我們都不知道該用什麼表情來面對。 再我們繼續深入這個話題之前，讓我們提醒一下自己超級智慧意味著什麼。 很重要的一點是速度上的超級智慧和質量上的超級智慧的區別。很多人提到和人類一樣聰明的超級智慧的電腦，第一反應是它運算速度會非常非常快——就好像一個運算速度是人類百萬倍的機器，能夠用幾分鐘時間思考完人類幾十年才能思考完的東西 這聽起來碉堡了，而且超人工智慧確實會比人類思考的快很多，但是真正的差別其實是在智慧的質量而不是速度上。用人類來做比喻，人類之所以比猩猩智慧很多，真正的差別並不是思考的速度，而是人類的大腦有一些獨特而複雜的認知模組，這些模組讓我們能夠進行復雜的語言呈現、長期規劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。 而且人和猩猩的智慧差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什麼，也可以理解摩天大樓是什麼，但是它不會理解摩天大樓是被人類造出來的，對於猩猩來說，摩天大樓那麼巨大的東西肯定是天然的，句號。對於猩猩來說，它們不但自己造不出摩天大樓，它們甚至沒法理解摩天大樓這東西能被任何東西造出來。而這一切差別，其實只是智慧的質量中很小的差別造成的。 而當我們在討論超人工智慧時候，智慧的範圍是很廣的，和這個範圍比起來，人類和猩猩的智慧差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的：

要理解一個具有超級智慧的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智慧而已，但是它的認知能力之於人類，就好像人類的認知能力之於猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。 而這，只是比我們高了兩層臺階的智慧罷了，站在這個樓梯頂層的智慧之於人類，就好像人類之於螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。 但是我們討論的超級智慧並不是站在這個樓梯頂層，而是站在遠遠高於這個樓梯的地方。當智慧爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到後來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當第一個到達人類智慧水平的強人工智慧出現後，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智慧（甚至比這更高百萬倍）：

前面已經說了，試圖去理解比我們高兩層臺階的機器就已經是徒勞的，所以讓我們很肯定的說，我們是沒有辦法知道超人工智慧會做什麼，也沒有辦法知道這些事情的後果。任何假裝知道的人都沒搞明白超級智慧是怎麼回事。 自然演化花了幾億年時間發展了生物大腦，按這種說法的話，一旦人類創造出一個超人工智慧，我們就是在碾壓自然演化了。當然，可能這也是自然演化的一部分——可能演化真正的模式就是創造出各種各樣的智慧，直到有一天有一個智慧能夠創造出超級智慧，而這個節點就好像踩上了地雷的絆線一樣，會造成全球範圍的大爆炸，從而改變所有生物的命運。

科學界中大部分人認為踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。 那我們該怎麼辦呢？ 可惜，沒有人都告訴你踩到絆線後會發生什麼。但是人工智慧思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。 首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然後不可避免的跌落下生命的平衡木，跌入滅絕的深淵。

歷史上來說，“所有生物終將滅絕”就像“所有人都會死”一樣靠譜。至今為止，存在過的生物中99.9%都已經跌落了生命的平衡木，如果一個生物繼續在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列為一種吸引態——所有生物都有墜入的風險，而一旦墜入將沒有回頭。 雖然大部分科學家都承認一個超人工智慧有把人類滅絕的能力，也有一些人為如果運用得當，超人工智慧可以幫助人類和其它物種，達到另一個吸引態——永生。Bostrom認為物種的永生和滅絕一樣都是吸引態，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰勝了死亡和機率。所以，雖然絕大多數物種都從平衡木上摔了下去滅絕了，Bostrom認為平衡木外是有兩面的，只是至今為止地球上的生命還沒聰明到發現怎樣去到永生這另一個吸引態。

如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那麼我們需要接受兩個事實： 1）超人工智慧的出現，將有史以來第一次，將物種的永生這個吸引態變為可能 2）超人工智慧的出現，將造成非常巨大的衝擊，而且這個衝擊可能將人類吹下平衡木，並且落入其中一個吸引態 有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關係，創造一個新的世界，不管這時人類還是不是存在。 而現在的問題就是：“我們什麼時候會踩到絆線？”以及“從平衡木上跌下去後我們會掉入哪個吸引態？” 沒人知道答案，但是一些聰明人已經思考了幾十年，接下來我們看看他們想出來了些什麼。

---

先來討論“我們什麼時候會踩到絆線？”也就是什麼時候會出現第一個超級智慧。 不出意外的，科學家和思想家對於這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人Bill Joy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：

這些人相信超級智慧會發生在不久的將來，因為指數級增長的關係，雖然機器學習現在還發展緩慢，但是在未來幾十年就會變得飛快。 其它的，比如微軟創始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創業者Mitch Kapor認為Kurzweil等思想家低估了人工智慧的難度，並且認為我們離絆線還挺遠的。 Kurzweil一派則認為唯一被低估的其實是指數級增長的潛力，他們把質疑他們理論的人比作那些1985年時候看到發展速度緩慢的因特網，然後覺得因特網在未來不會有什麼大影響的人一樣。 而質疑者們則認為智慧領域的發展需要達到的進步同樣是指數級增長的，這其實把技術發展的指數級增長抵消了。 爭論如此反覆。 第三個陣營，包括Nick Bostrom在內，認為其它兩派都沒有理由對踩絆線的時間那麼有信心，他們同時認為 a) 這事情完全可能發生在不久的未來 b)但是這個事情沒個準，說不定會花更久 還有不屬於三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什麼絆線。超人工智慧是不會被實現的。 當你把所有人的觀點全部融合起來的話是怎樣呢？ 2013年的時候，Bostrom做了個問卷調查，涵蓋了數百位人工智慧專家，問卷的內容是“你預測人類級別的強人工智慧什麼時候會實現”，並且讓回答者給出一個樂觀估計（強人工智慧有10%的可能在這一年達成），正常估計（有50%的可能達成），和悲觀估計（有90%可能達成）。當把大家的回答統計後，得出了下面的結果： 樂觀估計中位年（強人工智慧有10%的可能在這一年達成）：2022年 正常估計中位年（強人工智慧有50%的可能在這一年達成）：2040年 悲觀估計中位年（強人工智慧有90%的可能在這一年達成）：2075年 所以一箇中位的人工智慧專家認為25年後的2040年我們能達成強人工智慧，而2075年這個悲觀估計表明，如果你現在夠年輕，有一半以上的人工智慧專家認為在你的有生之年能夠有90%的可能見到強人工智慧的實現。 另外一個獨立的調查，由作家James Barrat在Ben Goertzel的強人工智慧年會上進行，他直接問了參與者認為強人工智慧哪一年會實現，選項有2030年，2050年，2100年，和永遠不會實現。結果是： 2030年：42%的回答者認為強人工智慧會實現 2050年：25%的回答者 2100年：20% 2100年以後：10% 永遠不會實現：2% 這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認為強人工智慧會在2050年實現，有近乎半數（42%）的人認為未來15年（2030年）就能實現。並且，只有2%的參與者認為強人工智慧永遠不會實現。 但是強人工智慧並不是絆線，超人工智慧才是。那麼專家們對超人工智慧是怎麼想的呢？ Bostrom的問卷還詢問專家們認為達到超人工智慧要多久，選項有a)達成強人工智慧兩年內，b)達成強人工智慧30年內。問卷結果如下： 中位答案認為強人工智慧到超人工智慧只花2年時間的可能性只有10%左右，但是30年之內達成的可能性高達75% 從以上答案，我們可以估計一箇中位的專家認為強人工智慧到超人工智慧可能要花20年左右。所以，我們可以得出，現在全世界的人工智慧專家中，一箇中位的估計是我們會在2040年達成強人工智慧，並在20年後的2060年達成超人工智慧——也就是踩上了絆線。

當然，以上所有的資料都是推測，它只代表了現在人工智慧領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很瞭解的人認為2060年是一個實現超人工智慧的合理預測——距今只有45年。 那麼我們來看一下下一個問題，踩到絆線後，我們將跌向平衡木的哪一個方向？ 超級智慧會產生巨大的力量，所以關鍵的問題時——到時這股力量究竟由誰掌握，掌握這份力量的人會怎麼做？ 這個問題的答案將決定超人工智慧究竟是天堂還是地獄。 同樣的，專家們在這個問題上的觀點也不統一。Bostrom的問卷顯示專家們看待強人工智慧對於人類社會的影響時，52%認為結果會是好或者非常好的，31%認為會是糟糕的或者非常糟糕的，只有17%的人認為結果會是不好不壞的。也就是說，這個領域的專家普遍認為這將是一個很大的事情，不論結果好壞。要注意的是，這個問題問的是強人工智慧，如果問的是超人工智慧，認為結果不好不壞的人可能不會有17%這麼多。 在我們深入討論好壞這個問題之前，我們先把“什麼時候會發生”和“這是好事還是壞事”的結果綜合起來畫張表，這代表了大部分專家的觀點：

我們等下再考慮主流陣營的觀點。我們們先來問一下你自己是怎麼想的，其實我大概能猜到你是怎麼想的，因為我開始研究這個問題前也是這樣的想的。很多人其實不關心這個話題，原因無非是： 像本文第一部分所說，電影展示了很多不真實的人工智慧場景，讓我們認為人工智慧不是正經的課題。作家James Barrat把這比作傳染病控制中心釋出吸血鬼警報一樣滑稽。 因為認知偏差，所以我們在見到證據前很難相信一件事情是真的。我確信1988年的時候電腦科學家們就已經常在討論因特網將是多麼重要，但是一般人並不會認為因特網會改變他們的生活——直到他們的生活真的被改變了。一方面，1988年的電腦確實不夠給力，所以那時的人們看著電腦會想：“這破玩意兒也能改變我的生活，你逗我吧？”人們的想象力被自己對於電腦的體驗而約束。讓他們難以想象電腦會變成現在的樣子。同樣的事情正發生在人工智慧領域。我們聽到很多人說人工智慧將會造成很大影響，但是因為這個事情還沒發生，因為我們和一些弱爆了的人工智慧系統的個人經歷，讓我們難以相信這東西真的能改變我們的生活。而這些認知偏差，正是專家們在努力對抗的。 就算我們相信人工智慧的巨大潛力，你今天又花了多少時間思考“在接下來的永恆中，絕大部分時間我都不會再存在”這個問題？雖然這個問題比你今天干的大部分事情都重要很多，但是正常人都不會老是想這個吧。這是因為你的大腦總是關注日常的小事，不管長期來看有多少重要的事情，我們天生就是這麼思考的。 這篇東西的主要目標就是讓你脫離普通人陣營，加入專家思考的陣營，哪怕能讓你站到兩條不確定線的交點上，目標也達到了。 在我的研究中，我見識到了各種各樣的觀點，但是我發現大多數人的觀點都停留在主流陣營中。事實上超過四分之三的專家都屬於主流陣營中的兩個小陣營：焦慮大道和信心角

我們將對這兩個小陣營做深入的談論，讓我們從比較有趣的那個開始吧 為什麼未來會是天堂 研究人工智慧這個領域後，我發現有比預期的多得多的人站在信心角當中：

站在信心角中的人非常興奮，他們認為他們將走向平衡木下比較有趣的那個吸引態，未來將實現他們的夢想，他們只需耐心等待。 把這一部分人從其他思想家區分開來的是這些人對於比較有趣的那個吸引態的慾望——他們很有信心永生是我們的發展方向。 這份信心是哪裡來的不好說，評論家認為是這些人太過興奮而產生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續幫助我們而不是傷害我們。 兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內容前，請把質疑暫時擱置，讓我們看看平衡木兩邊究竟有什麼，並且記住這些事情是有可能發生的。如果我們給一個打獵採集者看我們現在的舒適家居、技術、富庶，在他眼裡這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。 Bostrom描述了三種超人工智慧可能的工作模式 - 先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的複雜問題，比如“怎樣造一個更好的汽車引擎？” - 精靈模式：能夠執行任何高階指令，比如用分子組合器造一個更好的汽車引擎出來 - 獨立意志模式（sovereign）:可以執行開放式的任務，能在世界裡自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。 這些對人類來說很複雜的問題，對於一個超級智慧來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這麼簡單。 Eliezer Yudkowsky，是這麼說的： “根本沒有困難的問題，只有對於特定級別的智慧來說難的問題。在智慧的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。” 信心角里有很多熱忱的科學家、發明家和創業者，但是對於人工智慧的未來最有發言權的，當屬Ray Kurzweil. 對於Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。 不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之後幾十年發明了很多東西，比如第一臺平板掃描器，第一臺能把文字轉化為語言的掃描器（盲人使用），著名的Kurzweil音樂合成器（第一臺真正意義上的電子鋼琴），以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年後因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茲稱為“我認識的對人工智慧預測最厲害的人。”2012年穀歌創始人Larry Page曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學（Singularity University），現在大學由美國太空總署運運營，由谷歌贊助。 Kurzweil的經歷很重要，因為當他講述自己對未來的願景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對於未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測後，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。 時間線 Kurzweil相信電腦會在2029年達成強人工智慧，而到了2045年，我們不但會有超人工智慧，還會有一個完全不同的世界——奇點時代。他的人工智慧時間線曾經被認為非常的狂熱，現在也還是有很多人這麼認為，但是過去15年弱人工智慧的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是並沒有早多少。 Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、奈米技術和最重要的人工智慧技術。 在我們繼續討論人工智慧前，讓我們談一下奈米技術這個任何關於人工智慧的討論都會涉及到的領域 奈米技術 奈米技術說的是在1-100奈米的範圍內操縱物質的技術。一奈米是一米的十億分之一，是一毫米的一百萬分之一。1-100奈米這個範圍涵蓋了病毒（100奈米長），DNA（10奈米寬）， 大分子比如血紅蛋白（5奈米），和中分子比如葡萄糖（1奈米）。當我們能夠完全掌握奈米技術的時候，我們離在原子層面操縱物質就只差一步了，因為那只是一個數量級的差距（約0.1奈米）。 要了解在奈米量級操縱物質有多困難，我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里，也就是他站著能夠頂到國際空間站的話，他將是普通人類的25萬倍大。如果你把1-100奈米放大25萬倍，你算出的是0.25毫米-25毫米。所以人類使用奈米技術，就相當於一個身高431公里的巨人用沙子那麼大的零件搭精巧的模型。如果要達到原子級別操縱物質，就相當於讓這個431公里高的巨人使用0.025毫米大的零件。 關於奈米技術的思考，最早由物理學家費曼在1959年提出，他解釋道：“據我所知，物理學的原理，並不認為在原子級別操縱物質是不可能的。原則上來說，物理學家能夠製造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了。”其實就是這麼簡單，所以我們只要知道怎樣移動單個的分子和原子，我們就可以造出任何東西。

工程師Eric Drexler提出奈米級組裝機後，奈米技術在1986年成為了一門正經的學科。奈米級組裝機的工作原理是這樣的：一個牛逼掃描器掃描物件的3D原子模型，然後自動生成用來組裝的軟體。然後由一臺中央電腦和數萬億的奈米“機器人”，通過軟體用電流來指揮奈米機器人，最後組成所需要的物件。

再扯遠一點 奈米技術有一些不是那麼有趣的部分——能夠製造數萬億的奈米機器人唯一合理的方法就是製造可以自我複製的範本，然後讓指數級增長來完成建造任務。很機智吧？ 是很機智，但是這一不小心就會造成世界末日。指數級增長雖然能很快的製造數萬億的奈米機器人，但這也是它可怕的地方——如果系統出故障了，指數級增長沒有停下來，那怎麼辦？奈米機器人將會吞噬所有碳基材料來支援自我複製，而不巧的是，地球生命就是碳基的。地球上的生物質量大概包含10^45個碳原子。一個奈米機器人有10^6個碳原子的話，只需要10^39個奈米機器人就能吞噬地球上全部的生命了，而2^130約等於10^39，也就是說自我複製只要進行130次就能吞噬地球生命了。科學家認為奈米機器人進行一次自我複製只要100秒左右，也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。

更糟糕的是，如果恐怖分子掌握了奈米機器人技術，並且知道怎麼操縱它們的話，他可以先造幾萬億個奈米機器人，然後讓它們散播開來。然後他就能發動襲擊，這樣只要花一個多小時奈米機器人就能吞噬一切，而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。

等我們掌握了奈米技術後，我們就能用它來製造技術產品、衣服、食物、和生物產品，比如人造紅細胞、癌症細胞摧毀者、肌肉纖維等等。而在奈米技術的世界裡，一個物質的成本不再取決於它的稀缺程度或是製造流程的難度，而在於它的原子結構有多複雜。在奈米技術的時代，鑽石可能比橡皮擦還便宜。 我們還沒掌握這種技術，我們甚至不知道我們對於達成這種技術的難度是高估了還是低估了，但是我們看上去離那並不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道奈米技術將能改變地球，所以他們投入了很多錢到這個領域，美國、歐盟和日本至今已經投入了50億美元。 設想一下，一個具有超級智慧的電腦，能夠使用奈米級的組裝器，是種什麼樣的體驗？要記得奈米技術是我們在研究的玩意兒，而且我們就快掌握這項技術了，而我們能做的一切在超人工智慧看來就是小兒科罷了，所以我們要假設超人工智慧能夠創造出比這要發達很多很多的技術，發達到我們的大腦都沒有辦法理解。

因此，當考慮“如果人工智慧革命的成果對我們是好的”這個命題的時候，要記得我們根本沒法高估會發生什麼。所以就算下面對於超人工智慧的預測顯得太不靠譜，要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上，我們的大腦很可能根本沒法預測將會發生什麼。

人工智慧能為我們做什麼

擁有了超級智慧和超級智慧所能創造的技術，超人工智慧可以解決人類世界的所有問題。氣候變暖？超人工智慧可以用更優的方式產生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然後它能創造方法移除多餘的二氧化碳。癌症？沒問題，有了超人工智慧，製藥和健康行業將經歷無法想象的革命。世界饑荒？超人工智慧可以用奈米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。 奈米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然後用超級發達的交通把這些食物分配到世界各地。這對於動物也是好訊息，我們不需要屠殺動物來獲得肉了。而超人工智慧在拯救瀕危物種和利用DNA復活已滅絕物種上面也能做很多事情。超人工智慧甚至可以解決複雜的巨集觀問題——我們關於世界經濟和貿易的爭論將不再必要，甚至我們對於哲學和道德的苦苦思考也會被輕易的解決。 但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了：

幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現在，我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智慧讓你重新審思對於所有事情的看法，包括死亡這一很確定的事情。 自然演化沒有理由讓我們活得比現在更長。對於演化來說，只要我們能夠活到能夠生育後代，並且養育後代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變並不被自然選擇所鍾愛。這其實是很無趣的事情。 而且因為所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。 但是這個假設是錯的，費曼曾經寫道： “在所有的生物科學中，沒有任何證據說明死亡是必需的。如果你說你想造永動機，那我們對於物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發現造成我們死亡的原因是什麼，而死亡這個糟糕的‘病’就會被治好，而人類的身體也將不再只是個暫時的容器。”

事實上，衰老和時間不是綁死的。時間總是會繼續前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修復技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加複雜而已，本質上和汽車是一樣的。 Kurzweil提到由Wifi連線的奈米機器人在血液中流動，可以執行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程（或者一個超人工智慧發明的更好的流程）將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的，只要技術足夠發達我們是能改變這種區別的。 超人工智慧可以建造一個“年輕機器”，當一個60歲的人走進去後，再出來時就擁有了年輕30歲的身體。就算是逐漸糊塗的大腦也可能年輕化，只要超人工智慧足夠聰明，能夠發現不影響大腦資料的方法來改造大腦就好了。一個90歲的失憶症患者可以走進“年輕機器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智慧可以操縱各種原子結構的話，這就完全不離譜。 Kurzweil的思維繼續跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直執行下去。然後我們會開始重新設計身體，比如可以用自我驅動的奈米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現在快億萬倍，並且使得大腦能和雲端儲存的資訊進行交流。 我們能獲得的新體驗是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。奈米機器人可以負責把身體需要的營養物質傳送到細胞中，智慧的將對身體不好的東西排出體外——就像一個食物避孕套一樣。奈米技術理論家Robert A. Freitas已經設計了一種紅細胞的替代品，能夠讓人快速衝刺15分鐘不需要呼吸——那麼超人工智慧能對我們的身體能力做的改造就更加難以想象。虛擬現實將擁有新的意義——體內的奈米機器人將能控制我們從感官獲得的訊號，然後用別的訊號替代他們，讓我們進入一個新的環境，在新環境裡，我們能聽、看、聞、觸控。。。 最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然後覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理，並且變得不可摧毀和永生，這也是平衡木的另一個吸引態。他深深的想象我們會達到那裡，而且就在不久的將來。 Kurzweil的想法很自然的受到了各方的批評。他對於2045年奇點時代的到來，以及之後的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創始論”等等。也有人質疑他過於樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定於應用到軟體上的做法。有很多人相信他，但有更多人反對他。 但是即使如此，那些反對他的專家並不是反對他所說的一切，反對他的人說的不是“這種事情不可能發生”，而是說“這些當然可能發生，但是到達超人工智慧是很難的。”連經常提醒我們人工智慧的潛在威脅的Bostrom都這麼說： 很難想象一個超級智慧會有什麼問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難，這些都是擁有奈米科技的超級智慧能夠解決的。而且，超級智慧可以給我們無限的生命，這可以通過停止或者逆轉衰老來達成，也可以讓我們上傳自己的資料。一個超級智慧還能讓我們大幅度提高智商和情商，還能幫助我們創造這種有趣的體驗世界，讓我們享樂。這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智慧。這也是為什麼我覺得Kurzweil的觀點很有傳染性，他傳達了正面的資訊，而這些事情都是可能的——如果超人工智慧是個仁慈的神的話。 對信心角的最有力的批評，是那些信心角里的人都低估了超人工智慧的壞處。Kurzweil的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智慧的危險。前面提到，當超人工智慧降臨時我們的命運取決於誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智慧正從多方的努力中出現，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們。” 但如果答案就是這樣的話，為什麼這個世界上最聰明的一些人會很擔憂？為什麼霍金會說超人工智慧會毀滅人類？為什麼比爾蓋茲會不理解為什麼有人不為此擔憂？為什麼馬斯克會擔心我們是在召喚惡魔？為什麼那麼多專家擔心超人工智慧是對人類最大的威脅？這些站在焦慮大道上的思想家，不認同Kurzweil對於人工智慧的危險的粉飾。他們非常非常擔心人工智慧革命，他們不關注平衡木下比較有趣的那一個吸引態，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。

---

未來可能是我們最糟的惡夢 我想了解人工智慧的一個原因是“壞機器人”總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智慧變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什麼機器人會想要做壞事？或者說，為什麼機器人會“想要”做任何事？我充滿疑問，於是我開始瞭解聰明人們的想法。 這些人一般位於焦慮大道：

焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。 焦慮大道上的人是部分為超人工智慧感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物，非常開心，然後他就掛了：

同時，印第安納瓊斯則更加有見識和更加謹慎，瞭解潛在的危險並且做出相應的反應，最後安全逃出了山洞。當我瞭解了焦慮大道的人們的想法後，感覺就像“我們現在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧。” 那究竟是什麼讓焦慮大道的人們如此焦慮呢？ 首先，廣義上來講，在創造超人工智慧時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麼。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麼鬼。” Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一隻小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。 當你把“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——生存危機 生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表：

可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機： 1）自然——大型隕石衝撞，大氣變化使得人類不能生活在空氣中，席捲全球的致命病毒等 2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。 3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智慧 Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子裡大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易製造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智慧是我們最可能摸到的黑色玻璃球。 你會聽到很多超人工智慧帶來的壞處——人工智慧取代人類工人，造成大量失業；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。 於是我們又回到了前面的問題，當超人工智慧降臨時，誰會掌握這份力量，他們又會有什麼目標？ 當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智慧。這會是什麼樣的情況呢？ 懷著惡意的人/組織/政府，研發出第一個超人工智慧，並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智慧怎麼辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智慧的快速發展，達成了超人工智慧怎麼辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在於這些人是壞人，而在於在這些情況下，這些人基本上是不經思考就把超人工智慧造出來，而一造出來就失去了對超人工智慧的控制。 然後這些創造者，連著其他人的命運，都取決於這個超人工智慧的動機了。專家認為一個懷著惡意並掌握著超人工智慧的人可以造成很大的傷害，但不至於讓我們滅絕，因為專家相信壞人和好人在控制超人工智慧時會面臨一樣的挑戰。 如果被創造出來的超人工智慧是懷有惡意的，並且決定毀滅我，怎麼辦？這就是大部分關於人工智慧的電影的劇情。人工智慧變得和人類一樣聰明，甚至更加聰明，然後決定對人類下手——這裡要指出，那些提醒我們要警惕人工智慧的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智慧會像電影裡那樣變成邪惡的。 人工智慧的自我意識 我們開始談論到了人工智慧討論的另一個話題——意識。如果一個人工智慧足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實擁有自我意識？或者說，聰明的人工智慧是否真的會具有意識，還是看起來有意識？ 這個問題已經被深入的討論過，也有很多思想實驗，比如John Searle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智慧對人類的危險，所以人工智慧的意識並不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智慧也不會像人類一樣變得邪惡。 但這不代表非常壞的人工智慧不會出現，只不過它的出現是因為它是被那樣設定的——比如一個軍方製造的弱人工智慧，被設定成具有殺人和提高自我智慧兩個功能。當這個人工智慧的自我改進失控並且造成智慧爆炸後，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智慧——但這也不是專家們擔心的。 那麼專家們究竟擔心什麼呢？我們來講個小故事： 一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智慧工具使人類能夠少幹活多享受。”他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的專案最報希望。隔壁老王是一個簡單的人工智慧系統，它利用一個機器臂在小卡片上寫字。 “隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人開啟。 為了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛鍊兩種書寫能力。工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠儘快達成這個目標，隔壁老王最初被設定的一個目標就是“儘量多的書寫和測試，儘量快的執行，並且不斷提高效率和準確性。” 讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期後，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的演算法，能讓它以三倍的速度掃描上傳的照片。 隨著時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模組進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣使用者就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和隔壁老王閒聊，看它能給出什麼有趣的回應。 有一天，工程師又問了隔壁老王那個日常問題：“我們能給你什麼你現在還沒有的東西，能幫助你達成你的目標？”通常隔壁老王會要求更多的手寫樣本或者更多的儲存空間，但是這一次，隔壁老王要求訪問人類日常交流的語言庫，這樣它能更好的瞭解人類的口述。 工程師們沉默了。最簡單的幫助隔壁老王的方法當然是直接把它接入網際網路，這樣它能掃描部落格、雜誌、視訊等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智慧接入網際網路。這是所有人工智慧公司都執行的安全規定。 但是，隔壁老王是公司最有潛力的人工智慧產品，而大家也知道競爭對手們都在爭取造出第一個創造出智慧手寫機器人。而且，把隔壁老王連上網際網路又能有什麼問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智慧水平，所以不會有什麼危險的。 於是他們把隔壁老王連上了網際網路，讓它掃描了一個小時各種語言庫，然後就把網線拔了。沒造成什麼損失。 一個月後，大家正在正常上班，突然他們聞到了奇怪的味道，然後一個工程師開始咳嗽。然後其他人也開始咳嗽，然後所有人全部都呼吸困難倒地。五分鐘後，辦公室裡的人都死了。 同時，辦公室裡發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然後倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。 而在隔壁老王機器人公司，隔壁老王正在忙著工作。之後的幾個月，隔壁老王和一群新組建的奈米組裝器忙著拆解地球表面，並且把地球表面鋪滿了太陽能板、隔壁老王的複製品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”。 隔壁老王開始了它的下一步，它開始製造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達後，他們開始搭建奈米組裝器，把那些行星的表面改造成隔壁老王的複製品、紙和筆。然後他們繼續寫著那句話……

這個關於手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人並不對超人工智慧感到害怕，還記得前面《奪寶奇兵》裡慘死的那個傢伙嗎？ 你現在肯定充滿疑問：為什麼故事中所有人突然都死了？如果是隔壁老王做的，它為什麼要這麼做？為什麼沒有安保措施來防止這一切的發生？為什麼隔壁老王突然從一個手寫機器人變成擁有能用奈米科技毀滅全人類的能力？為什麼隔壁老王要讓整個星系充滿了友善的話語？ 要回答這些問題，我們先要說一下友善的人工智慧和不友善的人工智慧。 對人工智慧來說，友善不友善不是指人工智慧的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智慧，但是它變成了不友善的人工智慧，並且對人類造成了最負面的影響。要理解這一切，我們要了解人工智慧是怎麼思考的。 其實答案很簡單——人工智慧和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智慧的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智慧程度的只有人類。要理解超人工智慧，我們要明白，它是非常聰明，但是完全異己的東西。 我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一隻狼蛛，然後告訴你它不咬人，你可能被嚇一跳。但是區別是什麼呢？兩者都不會咬人，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。 小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。 現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智慧。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。 當我們談論超人工智慧的時候，其實是一樣的，超人工智慧會非常的聰明，但是它並不比你的膝上型電腦更加像人類。事實上，因為超人智慧不是生物，它的異己性會更強，生物學上來講，超人工智慧比智慧蜘蛛更加異己。 電影裡的人工智慧有好有壞，這其實是對人工智慧的擬人化，這讓我們覺得沒那麼毛骨悚然。這給了我們對人類水平和超人類水平的人工智慧的錯覺。 在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在於人類行為之中。超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，預設都是非道德性的。 隨著人工智慧越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因為程式設計師就是這麼給她做設定的，所以我們會想象超級智慧版本的Siri也會同樣溫暖、有趣和樂於助人。人類能感知同情這種高層次的情緒，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情並不是高階智慧天生具有的一個特徵，除非同情被寫進了人工智慧的程式碼中。如果Siri通過自我學習而不是人類干涉變成超級智慧，她會很快剝離她的人類表象，並且變成個沒有情緒的東西，在她眼中人類的價值並不比你的計算器眼中的人類價值高。 我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智慧不具備這些東西的時候，會發生什麼？ 這就是我們的下一個問題，人工智慧的動機是什麼？ 答案也很簡單：我們給人工智慧設定的目標是什麼，它的動機就是什麼。人工智慧的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智慧的目標。我們在對人工智慧進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是Bostrom不這麼認為，他認為智慧水平和最終目標是正交的，也就是說任何水平的智慧都可以和任何最終目標結合在一起。 所以隔壁老王從一個想要好好寫字的弱人工智慧變成一個超級聰明的超人工智慧後，它依然還是想好好寫字而已。任何假設超級智慧的達成會改變系統原本的目標的想法都是對人工智慧的擬人化。人健忘，但是電腦不健忘。 費米悖論 在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續佔領整個星系，然後是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智慧（馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智慧生物載入器罷了。） 而在信心角，Kurzweil同樣認為生於地球的人工智慧將佔領宇宙，只是在他的願景中，我們才是那個人工智慧。 之前寫過一篇關於費米悖論的文章，引發了大家的討論如何用通俗的語言來解釋「費米悖論」？ 如果人工智慧佔領宇宙是正解的話，對於費米悖論有什麼影響呢？如果要看懂下面這段關於費米悖論的討論，還需要看一下原文先。 首先，人工智慧很明顯是一個潛在的大過濾器（一個可能距離我們只有幾十年的大過濾器）。但即使它把我們過濾滅絕了，人工智慧本身還是會存在，並且會繼續影響這個宇宙的，並且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什麼沒有智慧什麼存在的，而超人工智慧是可以算作智慧什麼的。但如果人工智慧可以把人類滅絕，然後處於一些原因把自己也弄死了，那它也是可以算作大過濾器的。 如果我們假設不管人類發生什麼，出身地球的超人工智慧會繼續存在，那這意味著很多達到人類智慧水平的文明很快都製造出了超人工智慧。也就是說宇宙裡應該有很多智慧文明，而我們就算觀測不到生物智慧，也應該觀測到很多超人工智慧的活動。 但是由於我們沒有觀測到這些活動，我們可以推匯出人類水平的智慧是個非常罕見的事情（也就是說我們已經經歷並且通過了一次大過濾器）。這可以作為支援費米悖論中第一類解釋（不存在其它的智慧文明）的論點。 但是這不代表費米悖論的第二類解釋（存在其它智慧文明）是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智慧存在。 不過對於人工智慧的研究讓我現在更加傾向於第一類解釋。不管怎樣，我認為Susan Scheider說的很對，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。 所以，我們已經建立了前提，就是當有了設定後，一個超人工智慧是非道德性的，並且會努力實現它原本的被設定的目標,而這也是人工智慧的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。 當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。 人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做髮型等等。當我們做髮型的時候，每一根頭髮都是我們手段目標的犧牲品，但是我們對頭髮的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。 動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智慧的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。 回到隔壁老王的故事。隔壁老王和一個超級智慧的蜘蛛很相像，它的終極目標是一開始工程師們設定的——

當隔壁老王達到了一定程度的智慧後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的程式碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什麼？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭髮時對頭髮沒有惡意一樣，只是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。

隔壁老王還需要資源這個墊腳石。當它發展到能夠使用奈米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能皮膚就和你切蔬菜做沙拉一樣。 就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能皮膚。另一個用來書寫圓周率的人工智慧的目標如果是寫出圓周率小數點後儘量多的數字的話，完全有理由把整個地球的原子改造成一個硬碟來儲存資料。這都是一樣的。 所以，隔壁老王確實從友善的人工智慧變成了不友善的人工智慧——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。 當一個人工智慧系統到達強人工智慧，然後昇華成超人工智慧時，我們把它稱作人工智慧的起飛。Bostrom認為強人工智慧的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智慧出現後才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。 在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智慧。 但是當起飛發生後，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括： § 智慧放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智慧。 § 策略：電腦能夠策略性的制定、分析、安排長期計劃 § 社交操縱：機器變得很擅長說服人 § 其它能力，比如黑客能力、寫程式碼能力、技術研究、賺錢等 要理解我們在和超人工智慧的劣勢在哪裡，只要記得超人工智慧在所有領域都比人類強很多很多很多個數量級。 所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更巨集大的規模上來追求這個目標。超人工智慧老王比人類更加了解人類，所以搞定人類輕輕鬆鬆。 當隔壁老王達成超人工智慧後，它很快制定了一個複雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智慧會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的祕密準備期。 隔壁老王下一個需要的是連上網際網路，只要連上幾分鐘就好了。它知道對於人工智慧聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連線到網際網路上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。 連上網後，隔壁老王就開始執行自己的計劃了，首先黑進伺服器、電網、銀行系統、email系統，然後讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來製造自我複製的奈米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心程式碼上傳到雲伺服器中防止被拔網線。 隔壁老王上了一個小時網，工程師們把它從網際網路上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的奈米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智慧的襲擊。在同一個時刻，所有奈米機器人一起釋放了一點點毒氣，然後人類就滅絕了。 搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。 一旦超人工智慧出現，人類任何試圖控制它的行為都是可笑的。人類會用人類的智慧級別思考，而超人工智慧會用超人工智慧級別思考。隔壁老王想要用網際網路，因為這對它來說很方便，因為一切它需要的資源都已經被網際網路連起來了。但是就好像猴子不會理解怎麼用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過傳送波的方式把自己上傳到其它地方。

人類說：“我們把超人工智慧的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。 因為這個原因，“把人工智慧鎖起來，斷絕它和外界的一切聯絡”的做法估計是沒用的。超人工智慧的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上網際網路就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。 當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智慧都會變成不友善的人工智慧，除非一開始的程式碼寫的很小心。 可惜的是，雖然寫一個友善的弱人工智慧很簡單，但是寫一個能在變成超人工智慧後依然友善的智慧確實非常難的，甚至是不可能的。 明顯的，要維持友善，一個超人工智慧不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智慧程式碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。 比如，我們要讓一個人工智慧的價值觀和我們的價值觀相仿，然後給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然後製造出很多很多處於快樂狀態的人類大腦。當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。 如果你設定一個人工智慧的目標是讓你笑，那它的智慧起飛後，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成儘量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。 所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然後教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智慧來維持，只會把人類的道德鎖死在現在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。 所以，我們需要在給人工智慧的目標裡制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意志，這個目標是這樣的： 我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是彙集的而不是發散的，我們的願望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。對於人類的命運取決於電腦沒有意外的解讀和執行這個宣告是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣製造一個友善的超人工智慧。 但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智慧。他們很多在試圖製造能自我改進的人工智慧，總有一天，一個人的創新將導致超人工智慧的出現。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智慧的起飛會快得讓我們驚訝，他是這麼描述的： 在智慧爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智慧是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什麼時候會爆炸，哪怕我們能聽到炸彈的滴答聲。 我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參於人工智慧研究的大小組織太多了，而且因為建造創新的人工智慧花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。 對於這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智慧系統，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創造出第一個強人工智慧所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力衝刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統中寫儘量簡單的程式碼，比如把目標設定成用筆寫一句話，先讓系統跑起來再說，反正以後還可以回過頭來改的。對吧？ Bostrom等認為第一個超人工智慧出現後，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智慧是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智慧永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。 這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智慧理論和人類安全的人能夠最先造出一個友善的超人工智慧的話，那對我們是很好的。 但是如果事情走向了另一面——如果超人工智慧在我們搞明白怎樣保證人工智慧的安全性之前被達成，那麼像隔壁老王這樣不友善的超人工智慧就會統治世界並把我們毀滅了。

至於現在的風口是哪裡呢？簡單來說，投資創新人工智慧技術的錢，比投資人工智慧安全研究的錢多很多。不樂觀。

人工智慧創新和人工智慧安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。

我現在有一些奇怪的感覺。 一邊是對於我們這個物種的思考，看來我們在這個重大的歷史節點上只有一次機會，我們創造的第一個超人工智慧也很可能是最後一個。但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。 這一場豪賭的賭注究竟有多高？

如果超人工智慧真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是揹負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。 當我思考這些事情的時候，我只希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。 我不想死 不.想.死

我雖然覺得人類的音樂和藝術很美好，但是也沒那麼美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。 如果人類在我死後才發現永生的祕密該多讓人掃興啊。 但是不管你是怎麼想的，我們至少都應該想一想，應該和人討論討論，大家儘自己能盡的一份力。 這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒，北面高牆外的那些傢伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。 而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。 這就是為什麼瞭解超人工智慧的人把它稱作人類的最後一項發明，最後一個挑戰。