怎樣的人工智慧才是可怕的

之前那篇《放心吧，人工智慧還沒那麼可怕》的文章發表之後，很多朋友問我一個問題：【你認為怎樣的人工智慧是可怕的？】。這個問題讓我想起了幾個月前，知乎上有人要請我回答【《疑犯追蹤》這部劇裡的芬奇是不是有聖母情節】這個問題，我當時沒有時間，如今一併來談一下我的看法。

很多人認為機器有自我意識，或者情感的時候會很可怕，因為它會反抗人類的控制，進而想毀滅人類。我倒是不太同意這樣的看法，因為這顯然是小說看多了，完全沒有想過，那樣的話，機器跟人有什麼區別呢？人類什麼時候不是一群更聰明更強大的人類在反抗另一群其實為他們創造了生活的落後人類呢？那麼。事實上我們毀滅了誰呢？何況，有自我意識或者情感就意味著機器在執行一條規則的時候有自己的【道德】底線，這是社會達爾文主義這樣的邏輯不會被接受，堅決執行的根本因素。這樣一來，所有種族，包括機器與人類才能和平共處。豈不是更好嗎？

然後，我們再來看看《疑犯追蹤》裡的機器是怎麼樣的。那臺機器被人類自己賦予了呼叫所有監控裝置的權力，然後讓其去執行一套人類自己的【優先威脅處理】規則，機器有感情嗎？其實從技術上講，由於機器沒有繁殖的需求，發至內心的感情是不可能有的。但他可以為人類的情感模式建立統計模型，機器一旦放棄了追求最優解策略，而轉而去追求最佳概率決策，基本上是可以無限接近於最優解的，這是控制論和資訊理論的基本方法論。這就會出現一個局面：沒有感情的機器可以利用人類的情感模式，人類賦予他的權力，沒有道德底線的執行人類自己的規則。我們在《疑犯追蹤》和《機器人三定律》中都見過這種局面。我們會發現其中有三條基本規律：第一，人類設計的規則一定會存在缺陷，這樣的規矩交給機器去執行，結果一定會超出人類的控制。第二，人類不是一種理性主導的物種，他們並不會嚴格執行自己的規矩，規則的漏洞可以通過一系列潛規則來得到修補，機器沒有這樣的能力。第三，人類的非理性總會讓他們有讓機器執行自己規則來管理自己的慾望，儘管他們理性上知道這樣做的所有風險 。

這是芬奇心中真正的恐懼，不是聖母情結。芬奇只是太瞭解機器，他知道要恐懼的是人類自己，恐懼我們什麼時候會賦予機器去執行管理我們的權力，並且用的是我們自己設計的，漏洞百出的管理規則。而機器可能永遠沒有感情和道德，它會堅決執行這條規則，那怕最終結果是自我毀滅它也會做。