讀人工智慧時代與人類未來筆記14_管控人工智慧

1. 管控人工智慧

1.1. 歷史上的戰場進一步推進到與數字網路相連的所有地方

1.2. 數字程式現在控制著一個由眾多實體系統構成的龐大且仍在不斷增長的領域，而且越來越多的此類系統已實現網路化

1.2.1. 在某些情況下甚至連門鎖和冰箱都實現了網路化

1.2.2. 這催生出一個極其複雜、廣泛和脆弱的系統

1.3. 對人工智慧強國來說，追求某種形式的彼此理解和相互制約至關重要

1.3.1. 在相應系統和能力可以透過計算機程式碼的變化而輕易改變且相對難以察覺的情況下，各大政府可能傾向於認為，其對手在戰略敏感的人工智慧研究、開發和部署方面的步調會比它們公開承認甚至私下承諾的更進一步

1.3.2. 讓人工智慧參與偵察、鎖定目標或是展開致命性自主行動並不難，這使得尋求建立一套相互制約和驗證的體系變得既困難又刻不容緩

1.4. 一旦被釋放到世界上，人工智慧驅動的網路武器能夠適應和學習的程度可能遠遠超過預期目標

1.4.1. 武器的能力可能會隨著人工智慧對環境的反應而改變

1.4.2. 如果武器能夠以某種方式改變，而且改變的範圍或性質與其創造者所預期或威脅實現的不同，那麼對於威懾和升級的設想就可能變得撲朔迷離

1.4.3. 為了避免意外的和潛在的災難性後果，這種限制必須是相互的

1.5. 限制人工智慧和網路能力相當困難，遏制其擴散也很難

1.5.1. 那些主要大國開發和使用人工智慧和網路的能力有可能落入恐怖分子和流氓幫派手中

1.5.2. 那些沒有核武器、常規武器軍力也有限的小國，也可以透過投資尖端的人工智慧和網路武器，發揮出巨大的影響力

1.6. 各國不可避免地會把非連續性的、非致命性的任務委託給人工智慧演算法

1.6.1. 包括執行檢測和防止網路空間入侵的防禦功能

1.6.2. 一個高度網路化和數字化的社會“受攻擊面”太大，人類操作者無法僅憑手動實現防禦

1.6.3. 隨著人類生活的許多方面轉移到網上，經濟也持續數字化，一個流氓網路人工智慧就可能破壞整個行業

1.7. 國家、公司甚至個人都應該著手構建某種失效保護體系，以防患於未然

1.7.1. 包括切斷網路連線並使系統離線

1.7.2. 對國家來說，離線可能是終極的防禦形式

1.7.3. 如果不使用這種極端的措施，那就只有人工智慧能夠執行某些至關重要的網路防禦功能，原因之一是網路空間浩瀚無垠，在這一空間內可能採取的行動選項幾乎無窮無盡

1.7.4. 除了少數幾個國家，這一領域內最重要的防禦能力可能是其他國家力所不及的

1.8. 人工智慧的引入增加了為搶佔先機而將某種武器倉促投入使用，並由此演變為衝突的內在風險

1.8.1. 為了防止衝突意外升級，大國應該在一個可驗證的限制框架內進行競爭

1.8.2. 談判不應該只專注於緩和軍備競賽，還應該確保雙方大體上都瞭解對方的動向

1.8.3. 對方會對自己最具敏感性的秘密有所保留

1.8.3.1. 國家間永遠不會有完全的信任，但這並不意味著無法達成某種程度的諒解，正如冷戰期間的核武器談判所表明的那樣

1.9. 界定核時代的條約（以及隨之而來的溝通、執行和核查機制）給我們帶來了各方面的收益，但它們並不是歷史的必然產物，而是人類能動性的產物，是共同承擔危機和責任的產物

1.10. 為了管控人工智慧，戰略家必須考慮如何將其納入負責任的國際關係模式

1.10.1. 負責任地使用策略，再輔以制約原則，將是必不可少的舉措

1.10.2. 一個顯見的出發點就是以傳統強制方式對能力加以制約

1.11. 無論是限制人工智慧的潛在能力，還是限制人工智慧的數量，都不能完全符合這種技術在民用領域的廣泛應用和持續發展態勢

1.11.1. 我們必須研究新的限制因素，重點是人工智慧的學習和目標鎖定能力

1.12. 在19世紀和20世紀，各國逐漸對某些形式的戰爭進行了限制，例如使用化學武器以及大量針對平民的行為

1.12.1. 鑑於人工智慧武器使大量新類別的軍事活動成為可能，或使舊形式的軍事活動重獲新生，世界各國亟須對何種軍事行為不會背離固有的人性尊嚴和道德責任等問題做出決斷

1.13. 與人工智慧相關的武器技術帶來的困境在於：對技術的持續研發對國家至關重要，沒有它，我們將失去商業競爭力和與世界的關聯性

1.13.1. 新技術所固有的擴散天性迄今為止使透過談判做出限制的一切努力付諸東流，甚至連概念也未能形成

2. 致命自主武器系統

2.1. 該系統一旦被啟用就可以在沒有進一步人類干預的情況下選擇和打擊目標

2.2. 這類武器的關鍵問題是人類對其進行監督和及時干預的能力

2.3. 一個自主系統可能需要有一個人“在指令環路上”被動地監控它的活動，或者“在其指令環路中”的某些行動需要人類授權

2.4. 除非受到可遵守和可證實的相互協議的限制，後一種形式的武器系統最終可能涵蓋全部戰略和目標

2.4.1. 保衛邊境或實現針對敵人的特定結果，並且不需要大量人力參與

3. 對民用和軍事技術的影響

3.1. 傳統上有三個技術特性促成了軍事和民用領域的分野

3.1.1. 技術差異

3.1.1.1. 是指專門軍用或專門民用的技術是有別的

3.1.2. 集中控制

3.1.2.1. 是指與容易傳播、規避政府控制的技術相反，有些技術可以輕易被政府管控

3.1.3. 影響規模

3.1.3.1. 是指一項技術的破壞性潛力

3.2. 縱觀歷史，許多技術都是軍民兩用的

3.2.1. 一些很容易廣泛傳播，另一些則具有巨大的破壞力

3.3. 迄今為止，還沒有一種技術同時具備以下三種特性：軍民兩用、易於傳播和潛在的巨大破壞性

3.3.1. 運送貨物到市場的鐵路和運送士兵到戰場的鐵路是一樣的，鐵路不具有破壞性潛力

3.3.2. 核技術通常是軍民兩用的，且破壞性巨大，但核設施很複雜，這使政府能夠相對安全地控制核技術

3.3.3. 獵槍可能被廣泛使用，同時具有軍民用途，但其有限的能力使持槍者無法在戰略層面造成破壞

3.3.4. 人工智慧打破了這種正規化

3.4. 人工智慧

3.4.1. 可以軍民兩用

3.4.2. 很容易傳播，只要幾行程式碼就可以

3.4.2.1. 大多數演算法（有一些明顯例外）可以在單個計算機或小型網路上執行，這意味著政府很難透過控制基礎設施來控制這種技術

3.4.3. 人工智慧的應用具有巨大的破壞性潛力

3.4.4. 這種獨一無二的特性組合，加上廣泛的利益相關者，產生了具有全新複雜性的戰略挑戰

3.5. 一個國家可能來不及評估即將到來的攻擊，就要立即對此類威脅進行響應，否則將面臨被對方解除武裝的風險

3.5.1. 構建一個人工智慧系統來預警攻擊並賦予其反擊的能力

3.5.2. 這一系統的存在以及它可以毫無預警地實施行動，可能會刺激另一方投入更多建設和規劃，包括開發並行技術或基於不同演算法的技術

3.5.3. 如果人類也參與了這些決定，那麼除非各方謹慎地發展出一個共同的限制理念，否則先發制人的衝動可能會壓倒謀定後動的需要，就像20世紀初的情況一樣

3.6. 技術優勢所需的專業知識不再完全集中於政府方面

3.6.1. 從傳統的政府承包商到個人發明家、企業家、初創企業和私人研究實驗室，各種各樣的行為體和機構都參與到對這一具有戰略意義的技術的塑造過程中

3.6.2. 並不是所有參與者都認為其使命應與聯邦政府所界定的國家目標保持內在一致

3.6.3. 工業界、學術界和政府之間的相互教育過程可以幫助彌合這一鴻溝，並確保各方在一個共同的概念框架內理解人工智慧戰略意義的關鍵原則

3.7. 局面

3.7.1. 其遭遇的戰略和技術挑戰如此複雜

3.7.2. 對該挑戰的性質乃至討論其所需的詞彙卻鮮有共識

3.8. 核時代

3.8.1. 尚未解決的挑戰是：人類發展了一種技術，戰略家們卻找不到可行的軍事行動理論

3.8.2. 即使經過半個世紀的努力，如今對核武器的管控仍然是支離破碎的

3.8.3. 評估核平衡其實相對簡單

3.9. 人工智慧時代的困境將與之不同，典型技術將被廣泛獲取、掌握和應用

3.9.1. 無論是在理論概念上還是在實踐操作中，實現相互間的戰略剋制，甚至是實現對“剋制”的共同定義，都將比以往任何時候更加困難

3.9.2. 與核武器不同的是，人工智慧很難被追查：一旦經過訓練，它們可以很容易地被複制，並在相對較小的機器上執行

3.9.3. 以目前的技術，無論是要檢測其存在還是證實其不存在，都是極其困難甚至無法實現的

3.9.4. 在這個時代，威懾可能來自一種複雜性

3.9.4.1. 來自人工智慧攻擊能夠藉助載體的多樣性，也來自潛在的人工智慧反應速度

3.10. 由於大多數人工智慧技術具有軍民兩用特性，我們有責任在這場技術研發競賽中保持領先

3.10.1. 同樣迫使我們去理解它的侷限性

3.10.2. 等到危機來臨才開始討論這些問題就為時已晚了

3.10.3. 一旦在軍事衝突中使用，人工智慧技術的響應速度之快，幾乎註定它將以比外交手段更快的速度產生結果

3.11. 要在最具破壞性的能力上實現相互制約，絕不能等到悲劇發生再去亡羊補牢

3.11.1. 當人類開始在創造新的、不斷演化的、擁有智慧的武器方面展開競爭時，歷史不會原諒任何對此設限的失敗

3.11.2. 在人工智慧時代，對國家優勢的持久追求，仍須以捍衛人類倫理為前提

4. 股票市場

4.1. 一些複雜的所謂量化公司認識到，人工智慧演算法可以發現市場模式，並以超過最佳操盤手的速度做出反應

4.2. 公司已將其證券交易方面的某些控制權委託給這些演算法

4.3. 在多數情況下，這些演算法系統可以實現大幅超過人類操盤的利潤

4.3.1. 它們偶爾會嚴重誤判，程度可能遠超最糟糕的人為錯誤

4.4. 在戰略領域，一次類似“閃電崩盤”的演算法故障造成的後果可能是災難性的

4.4.1. 如果一方在此類計算或行動上出錯，就可能在不經意間觸發升級模式

5. 人工智慧賦能武器

5.1. 使人類指揮的戰爭更精確、更致命、更有效

5.2. 美國已宣佈其目標是將人工智慧使用限制在此類別中，並謀求建立一個任何國家，包括美國自身都不擁有人工智慧武器的世界

5.3. 技術的學習和演進能力也可能導致對某些特定能力的限制不足

5.4. 對人工智慧賦能武器的制約性質和制約方式進行界定，並確保約束是相互的，是關鍵所在

6. 人工智慧武器

6.1. 能脫離人類操作者自主做出致命的決定

7. 新世界中的古老追求

7.1. 無論中美兩國競爭的新階段可能會出現何種形式的競賽，兩國仍應該尋求達成一項共識，即不會同對方打一場前沿技術戰爭

7.2. 這兩個大國互相對峙而拒不進行對話的時間越長，發生意外的可能性就越大

7.3. 一旦發生意外，雙方都會被其技術和部署預案所驅使，陷入雙方都不願意看到的危機，甚至可能發生全球規模的軍事衝突

7.4. 國際體系的矛盾之處在於，每個大國都被驅使採取行動，也必須採取行動，從而最大限度地保障自身的安全

7.5. 在人工智慧時代，我們應該對長期以來的戰略邏輯進行調整

7.5.1. 我們必須防止執行速度比人類決策者更快的人工智慧做出一些具有戰略後果的、不可挽回的行為

7.5.2. 防禦力量的自動化，必須在不放棄人類控制的基本前提下去實施

7.5.3. 該領域固有的模糊性，再加上人工智慧的動態性、突出性及其傳播的便利性，將使評估複雜化

7.5.4. 人工智慧技術的擴散可能會導致更多的行為體必須承擔類似的使命

8. 控制武器裝備的六大任務

8.1. 對抗和敵對國家的領導人必須準備定期開展相互對話，討論他們都想要避免的戰爭形式，就像他們的前任在冷戰期間所做的那樣

8.2. 必須對核戰略的未解難題給予新的關注，並認識到其本質正是人類在戰略、技術和道德方面遭遇的巨大挑戰之一

8.3. 網路與人工智慧技術的領先大國應該努力界定其理論和限制（即使其所有方面均未被公開），並找出自身理論與競爭大國之間的關聯點

8.3.1. 如果我們的意圖是威懾而非使用，是和平而非衝突，是有限衝突而非普遍衝突，就需要以反映網路和人工智慧獨特層面的措辭來重新理解和定義這些術語

8.4. 擁核國家應承諾對其指揮控制系統和早期預警系統進行內部檢查

8.4.1. 檢查還應包括排除對核指揮控制系統或早期預警系統相關設施的網路攻擊的選項

8.5. 世界各國，特別是技術強國，應制定強有力和可接受的方法，在緊張局勢加劇和極端情況下儘量延長決策時間

8.5.1. 可以將控制不穩定性和建立共同安全所需的步驟（既有當前的，也有長期的）聯絡起來

8.5.2. 在危機中，人類必須對是否使用先進武器承擔最終責任

8.6. 主要的人工智慧大國應該考慮如何限制軍事化人工智慧的繼續擴散，或者依靠外交手段與武力威脅，開展系統性的防擴散工作

8.6.1. 老牌的核大國探索過這種防核擴散概念，結果成敗參半

8.6.2. 如果一種具有顛覆性和潛在破壞性的新技術被用於武裝世界上懷有最強烈敵意或道德上最不受約束的政府的軍隊，那麼戰略均勢可能難以實現，衝突也可能無法控制