Keras之父：我擔心的是AI被社交媒體操控

作者 | François Chollet

免責宣告：本文僅代表我的個人觀點，與我所在的企業無關。如果你引用本文內容，請忠於文內的個人結論，並根據實際情況作出客觀判斷。

如果你是八零後或者九零後，可能還記得如今早已不復存在的“電腦恐懼症”現象。直到二十一世紀初，這一問題還仍然存在——隨著個人計算機全面進入我們的生活、工作場所以及家庭，很多人開始抱有焦慮、恐懼甚至是攻擊性態度。雖然一部分人為計算機所吸引，併為其巨大的發展潛力而感到震驚及興奮，但大多數人對這類技術並不瞭解。他們如同見到了不明飛行物，甚至將其視為嚴重威脅。換言之，人們擔心自己被計算機技術所取代。

很多人對技術轉變實際抱持著反感，甚至是恐慌的態度。雖然這種現象在任何變革當中都實際存在，但需要強調的是，我們所擔心的大部分後果其實並不會出現。

幾年之後，電腦愛好者們已經適應了與計算機共舞的生活，並藉此幫助自己獲得助益。計算機並沒有取代人類的地位並引發大規模失業。相反，現在我們已經無法想象沒有膝上型電腦、平板電腦以及智慧手機的生活。對威脅的敏感轉化成了對現狀的肯定。但與此同時，我們以往曾經擔憂的、可能由計算機及網際網路產生的威脅，實際上開始以另一種形式出現並帶來困擾。在上世紀八十或九十年代，大多數人還根本想象不到如今無處不在的大規模監視、基礎設施或個人資料遭到追蹤、社交媒體上的心理異化、使用者耐心與專注能力的喪失、思想更易受到政治或宗教激進化言論的影響，以及敵對外國勢力劫持社交網路以破壞西方國家民主制度等現實問題。

如果說我們原本抱有的大部分恐懼心理源自非理性思維，那麼如今由技術變化引起的大部分真正令人擔憂的事態當時實際並未引起人們的充分關注 。

一百年前，我們無法真正預測到運輸與製造技術將掀起工業革命，並最終在兩次世界大戰當中吞沒數千萬個鮮活的生命。我們也沒有意識到電臺的興起會促成一種新的大眾宣傳形式，並最終推動義大利與德國法西斯主義的興盛。而上世紀二、三十年代理論物理學的發展，也沒能讓人們意識到其將很快以熱核武器的形式令整個世界永久性處於毀滅邊緣的威脅之下。到如今，即使數十年來一直困擾人類的核心問題——氣候問題——的警報早已拉響，但美國大部分（44%）的民眾仍選擇加以無視。作為文明社會下的個體，我們似乎很難正確識別未來威脅並抱以合理的擔憂或審慎態度；但在另一方面，我們又很容易因非理性判斷而感到恐慌。

當下，與以往一樣，我們再次面臨著一場根本性的變革浪潮：認知自動化。或者，我們也可以用人工智慧對其加以概括。而且與過去一樣，我們仍然擔心這種新型技術會損害人類自身的利益——人工智慧可能導致大規模失業，或者其將獲得自主權併成為一種超人類“物種”，最終選擇摧毀人類以實現世界大同。

但是，我們的擔心方向仍然是錯的——正如過去一樣。如果人工智慧的真正威脅，並不在於大多數人目前最關注的“超級智慧”或者“奇點理論”呢？  在本篇文章中，我想討論在人工智慧方面大家真正應該擔心的問題：人工智慧所能實現的對人類行為的高效、高度擴充套件能力，在受到惡意操縱後將給企業及政府帶來怎樣的影響。當然，認知技術發展還將產生其它有形風險，特別是與機器學習模型內負面偏見相關的問題。但本篇文章將專注於討論大規模人工智慧操縱議題，這主要是考慮到其確實擁有極高的風險，且往往為人們所忽視。

這種風險已經成為現實，並將在未來幾十年中伴隨著長期技術發展而繼續升級。隨著我們的生活正日趨數字化，社交媒體對我們生活及思維方式的判斷將愈發準確。與此同時，他們開始越來越多地利用行為控制介質——特別是透過新聞傳播演算法——控制我們的資訊消費途徑。

這意味著人類行為將最終成為一類最佳化問題，或者說一類能夠利用人工智慧解決的問題：社交媒體企業可能反覆調整其控制手段，從而達成特定目標。  這就像是遊戲 AI 會根據得分持續調整自身遊戲策略，最終順利攻克當前關卡。這一過程中的惟一瓶頸在於迴圈當中的演算法智慧水平。目前各大社交網路企業正投入數十億美元進行人工智慧研究，為的正是突破這一瓶頸。

下面，請允許我作出具體闡述。

社交媒體代表著一種宏觀心理走向

過去二十年中，我們的私人及公開生活已經全面轉移至網路之上。我們盯著螢幕的時間變得越來越長。整個人類社會都在轉向新的層面，即我們的大部分工作都以數字資訊為載體，整個國家的消費、修改或創造活動也以數字資訊為根基。

這種長期趨勢的一大副作用在於，企業與政府正在收集與個人相關的大量資料——特別是透過社交網路服務進行資訊採集。我們與誰交流，我們說了什麼，我們一直在消費什麼內容——包括圖片、電影、音樂新聞等，我們在特定時段內心情如何甚至是我們的一切感知與行動，最終都會被記錄在某臺遠端伺服器當中。

在理論上，這些資料能夠幫助收集方為個人及群體建立起非常準確的心理狀況描繪。我們的觀點與行為可能與成千上萬類似的個人交叉關聯，最終得出看似不可思議的理解結論——而這些結論要遠比單純的內省更具預見性（例如，Facebook 喜歡利用演算法作出甚至比好友印象更準確的使用者個性歸納）。

這些資料可提前預測你將何時開始新的往來關係（以及往來物件），以及何時結束當前的交往關係。此外，哪些使用者存在自殺風險、你在選舉當中投票支援哪一方（即使我們自己也還不清楚）等都能夠得到相當準確的總結。這種分析能力不僅僅作用於個人層級——成規模的群體將更具可預測性，因為平均行為會消除隨機性及個人異常等因素。

將數字化資訊消費作為心理控制向量

當然，被動資料收集絕不是其最終目的。社交網路服務也開始越來越多地控制我們的消費資訊。我們在新聞當中看到的內容已經變成了經過策劃的產物。不透明的社交媒體演算法將幫我們決定應閱讀哪些政治文章、觀看哪些電影預告片、應與哪些人保持聯絡，並在表達個人觀點後收到哪些意見反饋。

結合多年來的報導與分析，可以肯定的是如今的資訊消費管理演算法已經在我們的個人生活中掌握著相當大的權力——甚至我們是誰以及我們將成為誰這類問題，都將由其給出答案。設想一下，Facebook 長年來決定著你能夠看到的新聞內容（無論真假），那麼大家的政治立場也會有所變化——這意味著 Facebook 將最終控制我們的世界觀與政治立場。

Facebook 的業務核心在於給人們帶來影響。這也正是其向買家出售的主要服務——廣告客戶，特別是政治廣告客戶。事實上，Facebook 公司已經構建起一套微調演算法引擎，其不僅能夠影響你對某個品牌或者下一款欲購產品的看法，甚至能夠左右大家的情緒、調整交付內容以輕鬆使你生氣或者快樂。最終，它甚至有能力控制選舉結果。

人類行為屬於一種最佳化問題

簡而言之，社交網路公司能夠追蹤我們的一切，並控制我們所能消費到的資訊。這樣的趨勢正在加速推進。 事實上，目前全部涉及感知與行動的問題，都在一定程度上屬於人工智慧問題。  我們可以為人類行為建立一套最佳化迴圈，在這個迴圈中，大家能夠觀察目標的當前狀態並不斷調整為其提供的資訊，直到得出自己想要的意見及行為。 目前，人工智慧領域的一大重要組成部分——特別是強化學習——其核心就在於開發演算法以儘可能高效地解決這些最佳化問題，從而關閉迴圈並實現對目標的完全控制。換言之，即是對我們人類的完全控制。  在將生活轉移至數字化領域的過程當中，我們將更容易受到規則，特別是人工智慧演算法所制定的規則的影響。

由於人類思想非常容易受到簡單社交操縱模式的影響，因此這項工作變得非常輕鬆。舉例來說，請考慮以下攻擊向量：

• 身份強化：這是自廣告業誕生以來就一直被廣泛使用的老派伎倆，但卻始終效果出眾。具體方法包括將特定視角與你確定的標記加以關聯，從而在社交媒體消費環境中控制演算法以確保你只能看到視角位置與身份標記相匹配的內容（包括新聞故事以及來自好友的帖子），同時排除其它與你身份不符的內容。
• 負面社交強化：如果你發表的文章中表達了控制演算法不希望你持有的觀點，則系統可以選擇僅向持反對觀點的使用者展示你的帖子（可以是熟人，也可以是陌生人甚至機器人），對方會對此加以嚴厲批評。反覆多次之後，這樣的社交反饋可能使你偏離自己最初的觀點。
• 正面社交強化：如果你在發表的文章中表達了控制演算法希望你持有的觀點，則其會選擇只將內容顯示給願意“點贊”的人（甚至可能是機器人），這會加強你的信念，並感到自己受到多數人的支援。
• 取樣偏差：演算法也可能向你更多展示支援你所持觀點的朋友（或者媒體報導）。在這樣的資訊泡沫當中，你會覺得此類觀點擁有極高的支援率——儘管實際情況可能並非如此。
• 引數個性化：演算法可能會觀察到，在某些心理屬性與你相近的群體當中，某些特定內容往往更容易引發立場轉換。在這樣的基礎之上，演算法可能會根據特定觀點與生活經歷釋出針對性內容，從而高效完成立場扭轉。從長遠角度講，該演算法甚至可能完全透過捏造建立特別適合你本人的“個性化”內容。

從資訊保安的角度來看，上述作法可以被稱為“安全漏洞”，即已知且可用於入侵系統的攻擊手段。就人類頭腦而言，這些漏洞永遠無法得到修復，因為其正是我們的思維方式所在。  它們存在於我們的 DNA 當中。人類思想屬於一套靜態且易受攻擊的系統，並將越來越多地受到智慧 AI 演算法的攻擊。這些演算法能夠全面掌握我們所做以及所相信的事情，並藉此完全控制我們所能消費到的資訊內容。

現狀評述

值得注意的是，將人工智慧演算法應用於我們的資訊消費，從而實現大規模人口操縱——特別是政治控制——往往並不需要使用特別先進的人工智慧方案。在這樣的訴求之下，擁有自我意識的超智慧 AI 系統顯然有些浪費，即使是現有技術也已經能很好地完成這項任務。社交網路企業已經進行了多年研究，並獲得了顯著的成果。儘管他們目前的目標可能僅僅是最大程度“參與”並影響你的購買決定，而非操縱你對於整個世界的看法，但他們開發出的工具已經被敵對國家勢力用於實現政治目的——包括 2016 年英國脫歐公投以及 2016 年美國總統選舉。然而，既然大規模人口操縱已經成為可能，為什麼整個世界還沒有徹底淪陷？

簡單來講，這是因為我們對人工智慧的接納程度還不夠高。而這一切可能很快發生變化。

截至 2015 年，整個廣告行業的定位演算法仍然執行在邏輯迴歸基礎之上。這一狀況在如今也依然存在——只有規模最大、實力最雄厚的企業才能夠轉向更先進的模式。邏輯迴歸是一種早於計算時代即已經出現的演算法，亦是實現個性化效果的基本技術之一。也正因為如此，我們現在還會在網路上看到大量與自身需求毫無關聯的廣告。同樣的，敵對國家用於影響公眾輿論的社交媒體機器人也幾乎沒有全面採用 AI 技術。就目前來講，它們還非常原始。

然而，機器學習與人工智慧近年來取得了快速發展，而且其相關成果被迅速部署至針對性演算法及社交媒體機器人當中。深度學習到 2016 年才被引入新聞傳播與廣告網路。Facebook 在人工智慧研究與開發方面投入了大量資金，並明確希望成為這一領域中的領導者。那麼在社交媒體場景之下，建立自然語言處理與強化學習能力到底會給企業帶來怎樣的收益？

很簡單，對於 Facebook 這樣一家擁有近 20 億使用者的企業，其能夠對如此龐大的使用者群體構建細緻的心理特徵模型，並操縱其新聞來源以進行行為實驗，最終開發出前所未見的強大人工智慧技術方案。就個人而言，這樣的狀況讓我感到恐懼。但更可怕的是，Facebook 甚至並不是最值得擔心的威脅。舉例來說，部分極權國家正利用資訊控制實現前所未有的管控能力。雖然很多人認為大型企業才是現代世界中的全能統治者，但其擁有的權力尚遠不能與政府相提並論。在利用演算法進行思維控制方面，政府才最有可能成為這一切的幕後黑手。

那麼，我們該如何應對？我們該如何保護自己？作為技術從業者，我們應該如何避免這種由社交新聞傳播引發的大規模民意操縱行為？

硬幣的另一面：人工智慧能為我們做些什麼

最重要的是， 這種威脅的存在並不代表所有演算法策略都不值得信任，或者說所有針對性廣告都是為了洗腦。事實上，二者也能夠帶來巨大的實際價值。

隨著網際網路與人工智慧的興起，將演算法應用於資訊消費並不僅僅是一種必然趨勢——而是一種理想的趨勢。隨著日常生活的數字化與聯網水平提升，隨著整個世界的資訊變得愈發密集，我們需要人工智慧充當我們與世界的介面。從長遠角度來看，教育與自我發展將成為人工智慧最具影響力的應用方向。這種幫助將以動態形式發生，且幾乎與試圖操縱我們思維的惡意人工智慧採取完全相同的套路——只不過這一次是出於善意。資訊管理演算法能夠幫助我們儘可能發揮個人潛力，並透過更好的自我管理建立更美好的人類社會。

因此  問題不在於人工智慧本身，而在於控制。

我們不該利用新聞推送演算法操縱使用者——例如扭轉其政治立場，或者浪費他們的寶貴時間。我們應該讓使用者成為由演算法負責加以最佳化的目標。畢竟，對於想看到的新聞、世界觀、朋友乃至個人生活，我們應該擁有自主權與控制能力。資訊管理演算法不應是我們為了實現某種利益而創造的神秘力量 ; 相反，其應該成為我們真正能夠掌控的工具。更具體地講，其應該是我們可以用於實現既定目標的工具——例如教育與個性培養，而非娛樂。

下面是我的想法——任何採用演算法的新聞推送機制都應：

• 以透明方式公佈演算法當前正在最佳化的目標，以及這些目標如何影響你的資訊消費效果。
• 為使用者提供直觀的工具以親自設定這些目標，例如使用者應該可以配置自己的新聞來源，從而立足特定方向儘可能推動學習及個人成長。
• 以始終可見的方式衡量你在這些資訊上花費了多少時間。
• 提供多種功能工具以控制你在資訊消費方面投入的時間——例如制定每日時間目標，演算法將透過該目標提醒你離開電腦回歸現實生活。

在保持控制的同時利用人工智慧強化自己

我們應當構建起能夠切實為人類服務的人工智慧，而非出於利潤或政治利益而對其加以操縱。很明顯， 新聞推送演算法不應像賭 場運營商或宣傳員那樣“三觀不正”；相反，它們應該更像是一位導師或者優秀的圖書管理員，其根據對個人及其他數百萬與你相似人士的心理學理解為你推薦書籍、引起共鳴並助你成長。它應該是一種能夠與你生活相匹配的引導工具——透過為你建立起體驗空間內的最佳路徑，你將在人工智慧的幫助下順利抵達目的地。  在這樣的情況下，你將能夠立足同類群體審視自我、與擁有豐富閱歷積累的系統一同學習，並與這樣一位掌握著當前人類全部知識儲備的“助手”共同進行學術研究。

在實際產品當中，使用者應完全控制與自己互動的人工智慧。透過這種積極的方式，你將能夠更有效地實現自己的既定目標。

建立反 Facebook 模式

總而言之，未來人工智慧將成為我們與數字化世界間的介面。這將賦予個人更靈活的控制權，甚至讓組織機構逐步消亡。遺憾的是，社交媒體目前無疑是走錯了路。但好在我們還有時間，足以扭轉這一不利局面。

作為人工智慧行業的成員，我們需要開發產品與市場，透過各種激勵措施讓使用者與對其產生影響的演算法保持一致，而非利用人工智慧操縱使用者判斷並獲取利潤或政治利益。更具體地講，我們需要建立反 Facebook 模式。

未來，這些產品可能會以 AI 助手的形式出現。從目前來看，搜尋引擎就可以算是一種 AI 驅動型早期資訊介面。其為使用者服務，而不會試圖控制使用者的心理傾向。搜尋是一種用於達成特定目標的工具，它只會向使用者展示我們實際想要看到的內容。透過這種高效的方式，搜尋引擎會盡可能減少從問題到答案、從問題到解決方案的引導時間。

有些朋友可能會懷疑，既然搜尋引擎屬於我們與我們所訊息資訊之間的人工智慧層，那麼其是否會調整結果來實現操縱我們的目的？沒錯，每一種資訊管理演算法都存在著這樣的風險。但與社交網路不同的是，這種情況下的市場激勵方向實際上與使用者需求保持一致，這也促使搜尋引擎儘可能保持相關性與客觀性。如果其無法發揮確切作用，使用者將很快轉向其它更公正的競爭產品。更重要的是，搜尋引擎的心理影響空間要比社交新聞推送小得多。我們在本文中提到的種種人工智慧威脅，往往需要滿足以下條件才能在產品中得以體現：

• 感知與行動：產品不僅能夠控制向使用者展示的資訊（新聞與社交更新），同時也能夠透過“點贊”、聊天訊息與狀態來“感知”使用者目前的心理狀態。如果缺少這兩種認知能力，其將無法建立強化學習迴圈。
• 成為我們的生活中心：產品至少應是部分使用者的主要資訊來源，且典型使用者每天應耗費數小時時間使用該產品。相比之下，輔助性的專用推送機制（例如 Amazon 產品推薦）則不會構成嚴重威脅。
• 成為一種社交組成部分，使得更廣泛且更有效的心理控制（特別是社交強化）成為可能。這意味著非個性化新聞推送只佔我們所接收資訊的一小部分。
• 商業激勵旨在操縱使用者，並引導使用者在產品身上耗費更多時間。

大部分 AI 驅動型資訊管理產品並不符合上述要求。另一方面，社交網路則是各因風險因素的恐怖集合體。作為技術專家，我們應該傾向於那些不存在上述特徵的產品，並對存在此類濫用危險的產品持抵制態度。因此，我們應建立搜尋引擎與數字化助理，而非社交新聞。以透明化方式設計推薦引擎，確保其具備可配置性與建設性。此外，打造出色的使用者介面、使用者體驗與人工智慧專業知識，同時為演算法構建出色的配置皮膚，保證使用者能夠按照自己的意願使用產品。

重要的是，我們應當向使用者傳達上述觀念，以幫助其拒絕操縱性產品。由此產生的市場壓力，將推動技術行業朝著真正健康的方向邁進。

總結：我們正站在通往未來的岔路口

• 社交媒體不僅能夠為個人及群體建立強大的心理模型，還在越來越多地控制我們的資訊消費方式，並透過一系列富有成效的心理效應操縱我們的信念、感受以及行為。
• 足夠先進的人工智慧演算法能夠持續迴圈訪問我們的心理狀態與能夠體現心理狀態的行為，從而有效操縱我們的信念與行為。
• 利用人工智慧作為我們的資訊介面本身，並不是問題所在。  如果加以良好設計，這些人工智慧介面完全能夠為人類帶來更大的收益與權利。關鍵在於，使用者應該能夠全面掌控演算法目標，並將其作為工具用以追尋自己的目標（正如使用搜尋引擎一樣）。
• 作為技術人員，我們有責任拒絕那些無法控制的產品，並致力於構建對使用者負責的資訊介面。 不要將人工智慧當成操縱使用者的工具，而應將其作為使用者能夠實際掌握的有力武器。

我們面前有兩條道路，一條通向令人不寒而慄的未來，另一條則通往更為個性化的明天。好在我們還有時間慢慢思考與選擇。但需要強調的是，無論大家是否在乎，作為數字化世界的參與者，你的選擇會對全人類造成影響。因此，請務必以負責任的態度審視這個問題。

閱讀原文連結：