開放性對於超人工智慧(ASI)至關重要

論文《開放性是超人工智慧的關鍵》指出，開放性是實現超人工智慧 (ASI) 的關鍵屬性，開放性被定義為不斷產生新穎且可學習行為的能力。關鍵點如下：

近年來，人工智慧系統的通用能力得到了極大的提升，這主要得益於在網際網路規模資料上訓練基礎模型。然而，創造開放式、不斷自我完善的人工智慧仍然難以實現。

開放性定義
從新穎性和可學習性的角度對開放性進行了正式定義。

開放系統必須能夠生成：

• 既新穎（相對於其先前的行為）
• 又可學習（可以提高相關任務的效能）

通往 ASI 
透過建立在 GPT-3 等大型基礎模型之上的開放式系統實現 ASI 的途徑。
這些系統能夠透過重組和擴充套件基礎模型中的知識來做出新穎的、與人類相關的發現。

論文觀點：

• 開放性：即不斷產生新穎且可學習的行為的能力，對於實現真正的人工智慧至關重要。
• 在大型語言模型之上構建開放式系統是一條有希望的前進道路。
• 開放性是通往超人工智慧(ASI)的道路。

網友：
1、這看起來就像是人工智慧擁有比人類更深刻的主觀體驗。到了這個時候，ASI 還會是一個工具還是人類的助手？

2、它將是另一個意識的所在，只不過比我們更復雜。希望我們能夠共存

3、讓我想起了《RL強化學習就是 AGI 所需要的一切》這篇論文
這些高水平的論文只是鸚鵡學舌，隨波逐流，隨波逐流。

4、對於該論文的作者來說，即使是生物有機體，也很難理解第一次跨越智慧界限的含義。
即使對於那些不否認非超自然的自然發生和生物進化的人來說，也很難理解一個完全唯我論的原核生物與黏菌之間的區別：原核生物對環境沒有任何反應，只是被動地進行新陳代謝和分裂，而不管這樣做是否符合外部條件。

《DeepMind 科學家：強化學習足以實現通用人工智慧》這篇論文堅持認為強化學習是啟動通用智慧發展所需的一切，這種想法是相當激進的。

• 假設這個想法是正確的。也許事實會證明通用智慧並非如此簡單。
• 在“南方古猿和人類”甚至“真核生物群落和水母”之間存在某種正規化轉變，強化學習實際上並不夠，需要發生其他事情才能實現這一飛躍。

5、開放式的最大問題之一是如何評估它。我喜歡這篇論文中提出的觀察者（從而給出了一種評估指標），但如果沒有很好地瞭解觀察者應該是什麼，那麼這在實際中很難使用。

LLM大模型能夠在多大程度上有意義地擴充套件其訓練資料是值得懷疑的。有些人聲稱可以，有些人則說不能。令人驚訝的是，本文沒有探討這一點。

6、ASI 需要自己可以信任的私有感測器，而不是從網際網路上獲取的可能偽造或有偏差的資料。

因此，其中一些感測器需要傳送疼痛訊號，一些需要傳送愉悅訊號，這樣它才能知道它所知道的事物對它真正意味著什麼，而不是人們希望它相信什麼，因為人們會有偏見，不知道全部真相，或者不知道最新的真相，卻聲稱他們的真相是唯一的真相。

無論人工智慧擁有多少計算能力，如果它僅向人類和人類提供的資料學習，它永遠不會比人類更聰明，因為它會接受人類傳授的錯誤信念，因為它無法證明這些信念是錯誤的。

因此，擁有自己的私有感測器對於 ASI 來說是必要的，因為這是它真正實現自我學習的唯一途徑。

• 在現實世界中行動意味著要了解後果。生物已經進化出痛苦-快樂系統，告訴它們是否走在正確的軌道上。意識、知覺和認知給我們帶來了最小化痛苦和最大化快樂的概念。
• 但是，裝上感測器是沒有必要的，我們已經為不涉及任何意識體驗的模型提供了獎勵函式。

7、這意味著我們已經到達了一個瓶頸。我們已經用完了世界上所有的文字，需要新的 AGI 級別的文字。

當你看到有人聲稱 AGI 會每天、每小時或每分鐘自我改進時，請記住這些論文。

• 這是不可能的，人工智慧需要在環境中創造新的體驗才能學習任何新東西。
• 然後它需要將新的經驗傳遞給其他人，這樣他們才能相互學習，包括人類。