讀人工智慧時代與人類未來筆記07_人工智慧往何處去

1. 人工智慧的限制和管理

1.1. 在前幾代人工智慧中，人們將社會對現實的某種理解提煉為程式程式碼，而當下的機器學習人工智慧與之不同，它們在很大程度上是靠自己對現實進行建模

1.2. 雖然開發人員可以檢驗人工智慧生成的結果，但人工智慧並不會以人類的方式“解釋”它們是如何學習的或學到了什麼

1.3. 開發人員也不能要求人工智慧描述它學到的東西

1.3.1. 和人類一樣，一個人不可能真正知道自己學到了什麼以及為什麼要學

1.3.2. 我們最多隻能觀察人工智慧完成訓練後產生的結果

1.3.2.1. 人類必須進行逆向工作

1.4. 人工智慧的操作有時會超越人類經驗的範圍，因而無法概念化或生成解釋，它可能會產生一些真實但超出了（至少是當前的）人類理解邊界的洞察

1.5. 在弗萊明的實驗室裡，一種產生青黴素的黴菌意外地在一個培養皿中繁殖，殺死了致病細菌，使弗萊明察覺到這種以前不為人知的強效化合物的存在

1.5.1. 當時人類尚無抗生素的概念，不知道青黴素是如何起作用的，這一發現開啟的是整個需要為之傾注努力的領域

1.5.2. 人工智慧也會產生類似的驚人見解，比如識別候選藥物和贏得棋局的新戰略，讓人類去猜測它們的意義所在，並以謹慎的方式將這些見解整合到現有的知識體系中

1.6. 人工智慧不能對其發現的東西進行反思

1.6.1. 人工智慧無法做到這一點，它也無法感受到如此做的道德或哲學衝動

1.6.2. 它只是運用方法併產生一個結果，而不管這個結果從人類的角度來看是平庸還是深刻，是善還是惡

1.6.3. 人工智慧不能反思，其行動的意義由人類決定

1.6.3.1. 人類必須規範和監督這項技術

1.7. 人工智慧無法像人類一樣考慮情境或進行反思，這使得我們尤其需要關注它帶來的挑戰

1.7.1. 谷歌的影像識別軟體就曾因將人的影像誤標為動物

1.7.2. 將動物影像誤標為槍支而聲名狼藉

1.7.3. 這些錯誤對任何人來說都是顯而易見的，但人工智慧卻對其視而不見

1.8. 人工智慧不僅沒有反思的能力，而且會犯錯，包括任何人都會認為是最低階的錯誤

1.8.1. 它總是先被投入應用，然後才被排除故障

1.9. 使用人工智慧時，我們應該瞭解它的錯誤，這不是為了原諒它們，而是為了糾正它們

2. 錯誤識別的原因

2.1. 資料集偏差

2.1.1. 機器學習需要資料，沒有資料，人工智慧就無法學習優秀的建模

2.1.2. 一個關鍵問題是，如果不周密關注，更可能出現的是少數族裔等未被充分代表群體的資料不足問題

2.1.3. 資料的數量和覆蓋範圍都很重要，在大量高度相似的影像上訓練人工智慧會導致神經網路對以前未曾遇到的情況給出不正確的結果

2.2. 人工智慧的偏見可能直接源於人類的偏見

2.2.1. 人工智慧的訓練資料可能包含人類行為固有的偏見

2.2.2. 開發人員也有可能錯誤地指定了在強化訓練中使用的獎勵函式

2.3. 技術上的偏見問題並不限於人工智慧

2.3.1. 自新冠肺炎疫情暴發以來，脈搏血氧儀日益成為心率和血氧飽和度這兩項健康指標的衡量工具，但它會高估深色皮膚個體的血氧飽和度

2.3.2. 當設計師假設淺色皮膚吸收光線的方式是“正常”時，實際上便意味著假設深色皮膚吸收光線的方式是“不正常”的

2.3.3. 脈搏血氧儀可不是由人工智慧來執行的，但是，它仍然沒有對某一特定人群給予足夠的關注

2.4. 僵化

2.4.1. 它包含了人類察覺不到但人工智慧可以察覺的微妙特徵，而人工智慧也因此可能被這些特徵迷惑

2.4.2. 人工智慧審計與合規機制的穩健性很差

2.4.3. 在現實世界中，意料之外的失敗可能比意料之中的更有害，或至少更富挑戰性，因為對於未曾預見到的事情，我們的社會也無從化解

3. 人工智慧的脆弱性

3.1. 人工智慧的脆弱性體現的是其所學內容的膚淺性

3.2. 基於監督學習或強化學習而建立的輸入和輸出之間的關聯，與真正的人類理解迥然不同，因為後者有許多概念化和經驗的東西

3.3. 這種脆弱性也反映了人工智慧缺乏自我意識

3.3.1. 人工智慧是沒有知覺的，它不知道自己不知道什麼

3.3.2. 對人類來說顯而易見的錯誤，它卻無法識別和規避

3.4. 人工智慧無法自行檢查明顯的錯誤，這凸顯了開發測試的重要性

3.4.1. 此類測試讓人類能夠識別人工智慧的能力極限、評估人工智慧建議的行動方案，並預測人工智慧何時可能失敗

3.5. 由於在可預見的未來，人工智慧仍將由機器學習驅動，因此人類仍將無法察知人工智慧正在學習什麼，以及它如何知道自己學到了什麼

3.5.1. 人類的學習往往同樣不透明

3.5.2. 事實上是所有的人，經常根據直覺行事，因此無法闡明他們學到了什麼，又是如何學到的

3.6. 它們的目標函式仍會定義它們

3.6.1. 它們可能會像AlphaZero下棋一樣編寫程式碼：表現出色，嚴格遵守規則，但並無反思或意志體現

3.7. 設定人工智慧可能行動引數的程式碼

3.7.1. 程式碼引數之外的行為超出了人工智慧的認知

3.7.2. 如果程式設計師沒有設定相應的能力，或者明確地禁止動作，人工智慧就無法實施這些行為

3.8. 人工智慧受其目標函式的約束，該目標函式定義並指派了人工智慧需要最佳化的內容

3.9. 人工智慧只能處理被設計用於識別和分析的輸入

3.9.1. 如果沒有人類以輔助程式的形式進行干預，翻譯人工智慧就無法評估影像

3.9.2. 資料對它來說會顯得毫無意義

4. 測試

4.1. 為人工智慧制定專業認證、合規監控和監督計劃，以及執行這些計劃所需的監察專業知識，將是一項至關重要的社會規劃

4.1.1. 只有在人工智慧的創造者透過測試過程證明其可靠性之後，社會才能允許使用它

4.2. 在工業領域，不同行業產品的使用前測試遵循一個譜系

4.3. 應用程式開發商往往急於將程式推向市場，然後實時糾正缺陷

4.3.1. 航空公司的做法正好相反：哪怕只有一個乘客，在他踏上飛機之前，都要對他們的噴氣式飛機進行嚴格的測試

4.4. 活動的固有風險性

4.4.1. 隨著人工智慧使用場景的激增，固有風險、監管監督、市場力量也會形成與工業領域雷同的測試譜系，駕駛汽車的人工智慧受到的監管自然要比為娛樂和連線網路平臺賦能的人工智慧嚴格得多

4.5. 機器學習中學習階段和推斷結果階段的劃分，使得這樣的測試機制可以發揮作用

4.6. 固定性並不意味著人工智慧在新環境中不會出問題，而只意味著進行預先測試是可以做到的

4.7. 稽核資料集提供了另一種途徑的質量控制檢查

4.7.1. 透過確保人臉識別人工智慧在不同的資料集上訓練，或者確保聊天機器人在去除仇恨言論的資料集上訓練，開發人員可以進一步降低人工智慧在執行時出問題的風險

5. 人工智慧往何處去

5.1. 憑藉機器學習演算法的進步，加上不斷增長的資料和算力，人工智慧的應用取得了迅猛進展，並吸引了大量創意和投資資金

5.2. 對人工智慧，尤其是機器學習的研究、開發和商業化的爆炸式增長是全球性的，但主要集中在美國和中國

5.3. 機器學習賦能的人工智慧需要大量的訓練資料

5.3.1. 訓練資料需要大量的計算基礎設施，這使得再訓練人工智慧的成本高得令人望而卻步，即使這樣做有利可圖

5.4. 儘管我們在機器學習方面取得了重大進步，但需要綜合多種任務的複雜活動對人工智慧來說仍然難度極高

5.4.1. 人工智慧可以在路況較為規整的環境中表現良好，比如有入口限制的高速公路和行人或腳踏車很少的郊區街道

5.4.2. 人類司機經常會感到百無聊賴，心“有”旁騖，而人工智慧不會

5.4.3. 也許在不久的將來，人工智慧司機可能在長途行車中比人類司機更安全

5.5. 語言翻譯人工智慧曾停滯不前長達幾十年，然後才透過技術和計算能力的融合，實現了驚人的發展

5.5.1. 短短數年之間，人類就開發出了具有大致相當於雙語人士翻譯能力的人工智慧

5.6. 現有的人工智慧應用程式將變得更緊湊、更有效、更廉價，因此也會被更頻繁地使用

5.7. 生成式轉換器在人工智慧中擁有最大的神經網路

5.7.1. GPT-3有大約10^11個此類權重

5.7.2. 中國的人工智慧專家公佈了一種生成語言模型，其權重是GPT-3的10倍，但這仍然比人類大腦突觸的估計數量少10^4個數量級

5.8. 數量規模並不能直接轉化為智力

5.8.1. 事實上，一個神經網路能夠維持的能力水平是未知的

5.8.2. 一些靈長類動物的大腦尺寸與人類相似，甚至比人類更大，但它們沒有表現出任何接近人類的智力水平

5.8.3. 該領域的發展將很有可能產生人工智慧“專家”，即一種能夠在特定領域（如先進科學領域）顯著超越人類表現的程式

6. 通用人工智慧之夢

6.1. 對這一概念的理解通常是：能夠完成人類所能夠完成的任何智力任務的人工智慧

6.2. 它與如今的“狹義”人工智慧不同，後者是為了完成特定任務而開發的

6.3. 儘管實踐限制可能會將通用人工智慧的專業知識範圍限定在一些離散的領域，但這也無可厚非，就像能力最全面的人也講究術業有專攻一樣

6.4. 對於真正的通用人工智慧是否能實現，以及它可能具備哪些特徵，科學家和哲學家尚存在分歧

6.5. 透過結合傳統人工智慧，對它們進行範圍受限和深入的訓練，並逐步將它們聚集起來，以形成更廣泛的專業基礎

6.5.1. 對資金最雄厚、水平最高超的研究人員來說也絕非易事

6.5.2. 開發這樣的人工智慧需要巨大的算力，而且以目前的技術來看，成本高達數十億美元，所以很少有組織或機構能負擔得起

6.6. 機器學習的演算法、訓練資料和目標是由開發和訓練人工智慧的人來決定的，因此它們反映了這些人的價值觀、動機、目標和判斷

6.6.1. 即使日後機器學習技術變得更加複雜，這些侷限性也將持續存在

6.7. 人工智慧編碼員將完成人類開發人員勾勒的程式概要

6.8. 人工智慧作家將完成由人類營銷人員構思的廣告

6.9. 自動翻譯可能會帶來語言和文化的整合，併產生可能引發文化衝突和混亂的巨大影響

6.9.1. 外交官們一直小心翼翼地處理跨文化接觸，以避免意外冒犯，人們的文化敏感度往往也隨著語言訓練的深入而提高

6.9.2. 即時翻譯卻消除了這些緩衝區。來自不同社會的群體接觸時，可能會無意中發現自己冒犯了別人，抑或被別人冒犯

6.9.3. 依賴自動翻譯的人，是否會不再那麼努力地瞭解其他文化和國家，同時強化他們透過自己的文化視角看待世界的自然傾向？