引子
這個週末OpenAI搞了一個大新聞，圍繞 Sam Altman 和 Ilya Sutskever 的各種討論遍地開花，而其中一個關注點就是他們對於 AGI 降臨態度上的偏差。本文不打算討論公司治理和辦公室政治，而是用一些思維實驗和大家都公認的現象來分析純理論而言 AGI 會如何降臨。一個基本的結論就是：如今的 GPT 模型註定會誕生 AGI。更關心論證的朋友可以直接跳過前兩個介紹基礎知識的段落直接看後續的推理過程。不過限於篇幅，這篇裡僅僅提出了問題，具體分析會在後續文章中給出。本文提出了意識和載體之間可能存在的辯證依賴關係，提出了一個識別自我意識的途徑，可能是所有 AI 研究者長期等待的一個假說理論的雛形
AGI 的一般定義
首先我們先設定一個有關 AGI 的一般定義。AGI 通常是至一個智慧體具有人類水平的通用智慧,能夠學習、理解和應用知識去解決各種複雜問題,並且具有自我提升的能力。主要特徵包括:
- 強大的學習和推理能力,可以從資料中學習模式並進行復雜推理。
- 具有語言理解和自然語言處理能力,能夠理解人類語言並進行有意義的交流。
- 擁有廣泛的世界知識和常識,可以把學習到的知識應用到不同領域。
- 可以跨模型理解和學習,融合不同形式的資訊如語音、影像、影片等。
- 表現出創造力和規劃能力,能解決新問題並制定計劃達成目標。
- 具備自我意識和自我提升的能力,可以主動設定目標並不斷進步。
當前的AI系統都屬於弱 AI 或狹義 AI,距離真正的AGI還有很長的路要走。幾大特徵中，目前的人工智慧已經能達到大部分，而在諸多能力中，具備自我意識和自我提升能力是最具有挑戰性的。
GPT/LLM 的工作原理
對應的，我們也需要了解人工智慧目前大致的原理。並且我們可以斷定，任何一個環節其本身不具有任何智力，不具有任何主觀意識。
-
模型架構
LLM模型通常採用Transformer編碼器結構,由多層編碼塊組成,每個編碼塊包含自注意力機制和前饋網路。模型引數通常在億級到萬億級。 -
大規模語料預訓練
在海量文字語料上進行無監督預訓練,透過自迴歸預測語言序列的下一個詞來學習語言的表徵。預訓練目標是最大化語料的聯合機率分佈。 -
遷移學習
利用預訓練中的語言知識,透過精調應用於下游NLP任務,如文字分類、問答、對話等。只需要調整最後的輸出層。 -
模式識別
LLM可以學習語言中的模式,並根據前文進行語義解析和推理,預測後文內容。 -
多工學習
除語言建模外,還可以透過掩碼語言模型等方式進行預訓練,讓模型學習不同語言任務的表示。 -
生成
利用取樣策略可以生成連續、語義連貫的文字。透過條件提示也可以指導內容生成。
GPT 是否理解它的輸出
簡單的說，GPT 並不“理解”它的輸出。GPT 能正確得回答你的問題，並給出操作步驟，甚至 GPT 能透過大部分學校的書面考試，所以我們可以認為 GPT 的確“掌握”了知識。基於 GPT 的原理，我們可以肯定只要給它更多的訓練素材，GPT 註定能記住幾乎所有的人類知識，各行各業的知識。因此針對 AGI 的一般定義，其中大部分已經沒有什麼疑問了，達成目標僅僅是個時間問題，GPT 是一定能做到的。但是同時基於 GPT 的工作原理，有一種觀點則認為：GPT 本身對於其輸出的資訊並沒有任何“理解”的意義。GPT 僅僅是基於訓練資料和自身模型，給出了機率意義上的計算結果而已。一個能透過大學考試的機器，並不真的擁有對應知識的“理解”或“掌握”。
這裡就有一個很有趣的對比。人類對比GPT，大家都能記憶相關的資訊，然後順利透過考試。為什麼我們就拒絕承認 GPT 擁有理解能力？甚至事實上即使是人類，也存在那種僅僅機械背誦了知識點而無法闡述更多理解的情況。完全類似，甚至可以說相同的情況：“物件能順利針對給定的問題，給出符合預期的答案”。但是僅僅由於一個是人類，另一個是 GPT 我們就排斥人工智慧的成就，認為人工智慧並不真正意義上“理解”自己的輸出。我們不禁要問：人類的“理解”究竟是什麼?
如何讓一個人證明他“理解”/“掌握”了某個知識？是知其然且知其所以然嗎？是能舉一反三嗎？是能頂得住答辯的專家團從各種角度更深層次的提問嗎？而事實上這些挑戰對於已經掌握了幾乎所有人類知識的 GPT 來說並不是有太大難度的任務，難道不是嗎？如果允許 GPT 模型進行論文答辯，我相信它的表現應該會顯著高於人類學生的平均值。本文從這裡開始提出這個尖銳的問題：某個知識，究竟是被人或 GPT 所“掌握”了，還是某個知識藉助於人或 GPT 這個載體被“承載”了？一個能“承載”知識的東西，是否一定“理解”被“承載”的知識？“理解”的定義究竟是什麼？
未完待續
下面，我們將進一步分析什麼是“理解”。然後我們會進一步對比“創造力”的定義，最終給出“自我意識”的一種可能的實現途徑